- 博客(3)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Hadoop RPC框架简单理解
举个例子： 我们集群Hbase或者是Hdfs在进行数据写入时，回去在三台节点上做同样的操作，比如说一个mapreduce要把一个文件数据写入hdfs，这时候他肯定要去掉一个写入的函数，因为我写入的文件其实也是同一个，所以也就是我传入函数的参数也是一样的，这时候我的主节点要做一个操作，就是我要在我所有要写入数据的子节点去调用相同的函数，切传入相同的参数，这时候你就要保证远程网络访问时传参数
2017-11-22 20:27:11
336
原创 StreamSets 从传统关系型数据库Mysql到Hbase的实时数据采集（初试）
最近在研究StreamSets，因为它官网的标题就是处理复杂数据流，就想试一下，做了几个简单Demo之后，发现从传统关系型数据库到Hbase貌似经过很简单的操作就可以做到实时的数据采集： 1、 首先不管是什么环境，一定要先装好StreamSets,我用的的是CDH，直接在StreamSets的官网下载对应版本的parcel包，在CDH离线安装就可以了 2、 直接进入StreamSets...
2017-11-14 09:36:46
6056
9
原创 StreamSets 安装JDBC驱动指北
如果新安装的StreamSet首先要配置环境变量： export STREAMSETS_LIBRARIES_EXTRA_DIR="/opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR/sdc-extras/" 这里是配置你外部包引入的路径， 如果此路径不存在，执行以下命令： mkdir sdc-extras chown -R sdc:sd...
2017-11-09 19:28:56
5708
1
空空如也
求助：kettle连接cdh510-hbase报错问题
2017-07-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人