linux安装streamsets记录

linux需关闭防火墙,

网络
获取方式 静态

IP 192.168.1.180
子网掩码255.255.255.0
网关192.168.1.1
DNS 114.114.114.114

挂载, 将11T硬盘挂载到opt目录下(注意ext4 和xfs格式区别)
格式化硬盘 mkfs -t ext4 /dev/sdb

挂载 mount /dev/sdb /opt

永久写入 blkid /dev/sdb | awk ‘{print $2,"/opt ext4 defaults 0 0"}’>> /etc/fstab

查看fstab文件写入是否成功 cat /etc/fstab

查看 mount

重启

安装jdk
上传JDK rpm包

安装,并配置环境变量,进行测试

部署streamsets
创建目录

mkdir /opt/test_stream (test文件夹)

mkdir /opt/test_stream/data (数据文件夹)

mkdir /opt/test_stream/error (报警文件夹)

mkdir /opt/test_stream/out (数据输出文件夹)

chmod -R 777 /opt/test_stream (赋权)

将tar包上传至服务器,(将tar包放入opt或其他文件夹),

解压tar包 :# tar xvzf streamsets-datacollector-core-***.tgz

进入bin文件夹 :# cd streamsets-datacollector-***/bin/

执行命令:# ./streamsets dc

有可能会报错 :

Java 1.8 detected; adding $SDC_JAVA8_OPTS of “-XX:+UseConcMarkSweepGC -XX:+UseParNewGC -Djdk.nio.maxCachedBufferSize=262144” to $SDC_JAVA_OPTS

Configuration of maximum open file limit is too low: 1024 (expected at least 32768). Please consult https://goo.gl/6dmjXd

如果在运行的时候遇到上面的报错，修改操作系统的 open files 限制数量即可。

命令 #vi /etc/security/limits.conf

在 # End of file结束语上方 添加两行内容：

• soft nofile 102400

• hard nofile 102400

保存退出.然后重启机器reboot.

运行 ‘ulimit -n’ 既可以看到 open files 设置值已生效。

然后重新进入bin目录执行命令:# ./streamsets dc

StreamSets项目本身具有WEB界面,启动项目后如出现Running on URL : 'http://ip:18630’则说明项目启动成功.

部署完成!

修改密码
编辑 vim /opt/streamsets-datacollector-3.10.0/etc/basic-realm.properties 文件

将要更改的密码进行MD5加密 然后复制到要更改的用户,放开注释即可.添加用户同理

修改端口 vim /opt/streamsets-datacollector-3.10.0/etc/sdc.properties