Installation Requirements
在满足以下最低要求的计算机上安装Data Collector。要在群集执行模式下运行管道,群集中的每个节点都必须满足最低要求。
零件 | 最低要求 |
---|---|
操作系统 | 使用以下操作系统和版本之一: Mac OS X. CentOS 6.x或7.x. Oracle Linux 6.x或7.x. Red Hat Linux 6.x或7.x. Ubuntu 14.04 LTS或16.04 LTS |
核心 | 2 |
内存 | 1 GB |
磁盘空间 | 6 GB |
Java | 1.8以上 |
浏览器 | 使用以下浏览器之一的最新版本: Chrome Firefox Safari |
步骤1.安装StreamSet自定义服务描述符
安装StreamSet自定义服务描述符文件(CSD),然后重新启动Cloudera Manager。
- 使用以下URL从StreamSets网站下载CSD:https://streamsets.com/opensource 。
或者,您可以使用GNU Wget程序通过运行以下命令从命令行下载CSD:
export VERSION="3.6.0"
wget https://archives.streamsets.com/datacollector/$VERSION/csd/STREAMSETS-$VERSION.jar
- 将Data Collector CSD文件复制到本地描述符存储库路径。默认情况下,路径为/opt/cloudera/csd。
要验证要使用的路径,请在Cloudera Manager中单击“ 管理” > “设置”。在导航面板中,选择“ 自定义服务描述符”类别。将CSD文件放在为本地描述符存储库路径配置的路径中。
- 将文件所有权设置为cloudera-scm:cloudera-scm具有权限644。
. 例如:
chown cloudera-scm:cloudera-scm /opt/cloudera/csd/STREAMSETS*.jar
chmod 644 /opt/cloudera/csd/STREAMSETS*.jar
- 使用以下命令之一重新启动Cloudera Manager Server:
systemctl restart cloudera-scm-server
- 在Cloudera Manager中,要重新启动Cloudera Management Service,请单击主页> 状态。在Cloudera Management Service右侧,单击“ 菜单”图标,然后选择“ 重新启动”。
步骤2.手动安装包和校验和文件(可选)
- 需要下载文件名字
STREAMSETS_DATACOLLECTOR-3.6.0-el7.parcel
STREAMSETS_DATACOLLECTOR-3.6.0-el7.parcel.sha
注意:下载与系统相对应的版本
- 从以下位置下载Cloudera Manager Server操作系统的StreamSets parcel和相关校验和文件:
https://archives.streamsets.com/index.html - 将上述文件复制到Cloudera Manager Local Parcel Repository Path。
默认情况下,路径为/opt/cloudera/parcel-repo。
步骤3.分发并激活StreamSets Parcel
FAQ:
步骤4.配置StreamSet服务
FAQ: