StreamSets 从Mysql到Hbase(带kerberos认证)的实时数据采集

引言

最近在研究StreamSets，就做了个简单Demo熟悉它的使用，由于我们的hbase是cdh版的，且带有kerberos认证，与streamsSet怎么配带kerberos认证的Hbase中文资料甚少，所以本人就去官网翻看了一下。

环境介绍

安装streamSets这里我不作过多介绍，这方面的网上资料有不少。我采用的是核心包安装（Core Tarball）,版本为streamsets-datacollector-core-3.6.1.tgz。因为是核心包安装，所以需要添加hbase的库，hbase的库是在cdh。

安装步骤：主界面点击那个盒子，然后点击cdh安装就好，完全是图形化的。

mysql配置

正常的新建Pipelines我就不多说，大家可以参看https://cloud.tencent.com/developer/article/1078852

可以配置一部分就先预览一下：

带kerberos认证hbase配置

这个就比较麻烦了！网上基本没有什么中文资料有说明。

kerberos认证的配置，可参看官网：https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Configuration/DCConfig.html#concept_hnm_n4l_xs
具体步骤：
1、将Kerberos配置文件krb5.conf复制到Data Collector计算机。默认位置是/etc/krb5.conf。
注：安装streamset的机器需要注意一下hosts文件,ip到主机名的映射。
2、修改Data Collector配置文件sdc.properties将Data Collector配置为使用Kerberos。


3、重新启动Data Collector.
4、在streamset的hbase配置中勾选kerberos认证选项，如上图。

总结

这个效果图：