StreamSets
TracyGao01
保持专注
展开
-
StreamSets 安装JDBC驱动指北
如果新安装的StreamSet首先要配置环境变量:export STREAMSETS_LIBRARIES_EXTRA_DIR="/opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR/sdc-extras/" 这里是配置你外部包引入的路径,如果此路径不存在,执行以下命令:mkdir sdc-extraschown -R sdc:sd...原创 2017-11-09 19:28:56 · 5642 阅读 · 1 评论 -
StreamSets 从传统关系型数据库Mysql到Hbase的实时数据采集(初试)
最近在研究StreamSets,因为它官网的标题就是处理复杂数据流,就想试一下,做了几个简单Demo之后,发现从传统关系型数据库到Hbase貌似经过很简单的操作就可以做到实时的数据采集:1、首先不管是什么环境,一定要先装好StreamSets,我用的的是CDH,直接在StreamSets的官网下载对应版本的parcel包,在CDH离线安装就可以了2、直接进入StreamSets...原创 2017-11-14 09:36:46 · 6028 阅读 · 9 评论 -
StreamSets连接oracle jdbc报错:"java.util.PropertyPermission""oracle.jdbc.RetainV9LongBindBehavior""read"
如果遇到StreamSets连接JDBC报如抛出如下异常:Exception during pool initialization: access denied ("java.util.PropertyPermission" "oracle.jdbc.RetainV9LongBindBehavior" "read") 解决:修改配置文件sdc-env.sh,添加如下变量:expor...原创 2018-01-16 15:33:11 · 1272 阅读 · 0 评论 -
StreamSets并行度过高报错active private ClassLoaders='50': java.util.NoSuchElementException: Pool exhausted
Could not get a private ClassLoader for 'streamsets-datacollector-cdh_5_11-lib', for stage 'com_streamsets_pipeline_stage_processor_hive_HiveMetadataDProcessor', active private ClassLoaders='50': java...原创 2018-03-26 14:01:52 · 1222 阅读 · 1 评论 -
StreamSets RDBMS2Hbase开发流程
SDC开发流程及名词解释 1、首先创建一个SDC的pipeline: 2、拖进来我们要用的组件(JDBC QUERY、HBASE) 3、我们可以在右边栏选择我们想用的组件 4、组件参数配置:(JDBC QUERY)第一步:配置错误记录的报错方式,选send to error第二步:配置JDBC页 jdbc连接正常配,下边用户认证...原创 2018-04-04 09:39:23 · 1183 阅读 · 5 评论