kafka 可视化工具_关于StreamSets ETL工具的简单部署和使用

最新推荐文章于 2023-06-12 14:18:51 发布

weixin_39751327

最新推荐文章于 2023-06-12 14:18:51 发布

阅读量451

点赞数

文章标签： kafka 可视化工具 kafka可视化工具

概述

官网:https://streamsets.com/

Streamsets是一款大数据实时采集和ETL工具，可以实现不写一行代码完成数据的采集和流转。通过拖拽式的可视化界面，实现数据管道(Pipelines)的设计和定时任务调度。最大的特点有：
- 可视化界面操作，不写代码完成数据的采集和流转
- 内置监控，可是实时查看数据流传输的基本信息和数据的质量
- 强大的整合力，对现有常用组件全力支持，包括50种数据源、44种数据操作、46种目的地。

对于Streamsets来说，最重要的概念就是数据源(Origins)、操作(Processors)、目的地(Destinations)。创建一个Pipelines管道配置也基本是这三个方面。

常见的Origins有Kafka、HTTP、UDP、JDBC、HDFS等；Processors可以实现对每个字段的过滤、更改、编码、聚合等操作；Destinations跟Origins差不多，可以写入Kafka、Flume、JDBC、HDFS、Redis等。

部署:

部署要求:

centos7+

JDK1.8+

首先到StreamSets官网提供的下载址：https://archives.streamsets.com/index.html

官方提供核心包下载,完整包下载及docker安装等多种下载方式.完整包大小约4G+,包含所支持的所有组件.多数用不到,所以不推荐下载完整包.一般下载核心包 Core SDC Tarball 即可.

安装:

准备工作:

首先先创建一部分备用文件夹 ,用来测试.生产服务器根据需求指定文件路径.

# mkdir /home/test_stream (test文件夹)
# mkdir /home/test_stream/data (数据文件夹)
# mkdir /home/test_stream/error (报警文件夹)
# mkdir /home/test_stream/out (数据输出文件夹)
# chmod -R 777 /home/test_stream (赋权)

将tar包上传至服务器,(将tar包放入opt或其他文件夹),

解压tar包 :# tar xvzf streamsets-datacollector-core-***.tgz

进入bin文件夹 :# cd streamsets-datacollector-***/bin/

执行命令:# ./streamsets dc

有可能会报错 :

Java 1.8 detected; adding $SDC_JAVA8_OPTS of "-XX:+UseConcMarkSweepGC -XX:+UseParNewGC -Djdk.nio.maxCachedBufferSize=262144" to $SDC_JAVA_OPTS

Configuration of maximum open file limit is too low: 1024 (expected at least 32768). Please consult https://goo.gl/6dmjXd

如果在运行的时候遇到上面的报错，修改操作系统的 open files 限制数量即可。

命令 #vi /etc/security/limits.conf

在 # End of file结束语上方添加两行内容：

* soft nofile 102400

* hard nofile 102400