Streamsets 介绍

StreamSet 介绍

Streamsets是一款大数据实时采集和ETL工具，可以实现不写一行代码完成数据的采集和流转。通过拖拽式的可视化界面，实现数据管道(Pipelines)的设计和定时任务调度。
最大的特点有：

1. 可视化界面操作，可以直观排查错误；
2. 内置监控，可是实时查看数据流传输的基本信息和数据的质量；
3. 强大的整合力，对现有常用组件全力支持。

对于Streamsets来说，最重要的概念就是数据源(Origins)、操作(Processors)、目的地(Destinations)、执行器(Executor)。
具体的介绍，请参考：https://streamsets.com/documentation/datacollector/3.9.x/help/index.html
官方论坛：https://ask.streamsets.com/questions/

StreamSet 安装

streamset安装有多种方式，

1. Docker 安装

docker 镜像发布安装，步骤简单很多

docker pull streamsets/datacollector
docker run --restart on-failure -p 18630:18630 -d --name streamsets-dc streamsets/datacollector dc

2. RPM 安装

1、下载安装包
下载链接：https://streamsets.com/products/dataops-platform/open-source/
目前官方下载需要注册，简单注册一下好了。

这家伙足足有5个多GB，下载前请准备好充足的磁盘空间

2、安装
安装前准备：安装jdk
系统环境：centos7

# 下载解压
[root@localhost ~]# wget https://s3-us-west-2.amazonaws.com/archives.streamsets.com/datacollector/3.18.1/rpm/el7/activation/streamsets-datacollector-3.18.1-el7-activation-all-rpms.tar
[root@localhost ~]# tar xf streamsets-datacollector-3.18.1-el7-activation-all-rpms.tar
[root@localhost ~]# cd streamsets-datacollector-3.18.1-el7-activation-all-rpms
# 安装
[root@localhost ~]# yum localinstall streamsets*.rpm -y 

3、启动
我们先不改Streamsts参数，直接启动

[root@localhost ~]# systemctl start sdc
[root@localhost ~]# ps -ef|grep sdc
[root@localhost ~]# systemctl status sdc
[root@localhost ~]# systemctl enable sdc
[root@localhost ~]# systemctl status sdc

4、登录
Streamsets默认端口号：18630
所以访问链接为：http://host:18630
密码：admin/admin


实时数据同步管道，我们现在主要是将RDS中的数据同步到ES中。以项目为单位创建管道（一个项目一个管道）后续我将详细介绍实时宽表的思路、实现过程