![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
StreamSets
象在舞
谁说大象不能跳舞!
展开
-
【StreamSets】 JDBC_502 - Batch size greater than maximal batch size allowed in sdc.properties
【问题描述】 今天在CDH集群中使用StreamSets的时候报了如下的错误:JDBC_502 - Batch size greater than maximal batch size allowed in sdc.properties, maxBatchSize: 1000【问题原因】 看错误很明显,默认的maxBatchSize:为1000,咱们从数据源中读取的记录数大于1000,于是会报这个错误。【解决办法】 CDH监控界面找到Strea...原创 2020-06-15 11:23:32 · 1071 阅读 · 0 评论 -
使用StreamSets将MySQL中变化的数据实时的导入到HBase中
在之前的博客中,小编介绍了如何在CDH中安装StreamSets,文章链接为:《CDH6.3.1中安装StreamSets3.16.0》。透过这个文章名称也能够看出来小编使用的CDH版本以及安装的StreamSets的版本了,这里就不多说了,本文主要介绍如何使用StreamSets实时的将MySQL中的数据导入到HBase中,主要从以下三个方面进行讲解:一、直接将数据实时的导入到HBase;二、选取部分字段进行实时导入;三、使用SQL查询的方式将MySQL中的数据实时的导入到HBase中。...原创 2020-06-14 16:44:21 · 1461 阅读 · 3 评论 -
六十九、CDH6.3.1中安装StreamSets3.16.0
StreamSets(StreamSets Data Collector)是一款开源的强大的实时数据采集和ETL工具,数据源支持包括结构化和半/非结构化,目标源支持HDFS,HBase,Hive,Kudu,Cloudera Search, ElasticSearch等。它包括一个拖拽式的可视化数据流程设计界面,定时任务调度等功能。StreamSets有多种安装方式,可以使用tar包、rpm包、Cloudera Parcels等方式进行安装。由于小编所使用的集群为CDH,故本文就只对其如何集成到...原创 2020-06-13 13:50:36 · 1310 阅读 · 0 评论