StreamSet快速安装启动并实现数据流从JDBC到Hbase的demo

1.下载

官方地址

https://streamsets.com/products/dataops-platform/data-collector/download/

选择Core Tarball，大概300M

 

 

2.安装启动

2.1将下载好的压缩包上次到服务器任意位置

2.2解压缩

tar -zxvf streamsets-datacollector-core-3.15.0.tgz

2.3启动

cd streamsets-datacollector-3.15.0/bin/
nohup ./streamsets dc &

2.4验证

打开浏览器访问。这里ip是我测试用ip。默认用户名、密码是admin/admin

http://192.168.56.102:18630/

3.新增JDBC到HBASE的demo

3.1新建一个Pipeline,Title随便输入一个名称然后保存

 

3.2点击标题进入编辑页面

3.3点击右下角的Add/Remove Stages

3.4搜索JDBC,然后点击右边的操作按钮，install，安装完成后根据指引重启

同理搜索HDP，选择一个版本安装

 

3.5回到编辑页面，输入jdbc，把Consumer添加编辑页面，同理把hbase添加进去

3.6点击两个圆圈把它们连接起来

3.7接下来就是配置jdbc跟hbase参数了。

3.7.1首先先安装jdbc驱动

点击右上角的包管理图标

进入包管理界面后点击左下角的链接

点击右上角的箭头图标，上传jdbc驱动包，并安装指引完成安装

安装完成后的效果

3.7.2回到编辑页面开始jdbc配置

SELECT 	id,service_name as 'cf:a' FROM `apis_service` where id > 0 order by id desc limit 0,10;

输入mysql用户名密码

输入com.mysql.jdbc.Driver

3.7.3hbase配置

 

完成配置后点击右上角的校验按钮

点击右上角的start按钮开始启动测试