【SDC】CDH6.3.2中通过parcel安装Streamsets Data Collector 3.14.0

最新推荐文章于 2024-08-06 05:25:21 发布

九层之台起于累土

最新推荐文章于 2024-08-06 05:25:21 发布

阅读量576

点赞数

分类专栏：【Streamsets】文章标签： hadoop 大数据分布式 etl

原文链接：https://editor.csdn.net/md/?articleId=123277693

版权

【Streamsets】专栏收录该内容

37 篇文章 16 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了如何在Cloudera Manager管理的CDH6.3.2集群上通过Parcel方式安装Streamsets Data Collector 3.14.0，包括下载Parcel文件、配置SHA文件、上传并激活Parcel，以及通过Cloudera Manager添加和安装服务。

摘要由CSDN通过智能技术生成

文章目录

本文档主要讲述如何在Cloudera Manager 管理的集群中安装StreamSets和基本使用。

1.安装前的准备

1.1 下载Streamsets Data Collector

到StreamSets官网提供的下载址：https://archives.streamsets.com/index.html 下载以下文件：这里下载使用的是 3.14.0版本
[外链图片转存失败,源站可能有防盗链机制,建议将图片保失败,源站可能有防盗链机制,建议将图片保存下来直接上传存上传(imXBrpAF2g0m-1646986875623)(assets/net-img-47acd071154ce78ca8b5f7665ae711-20220311141039-yczpbtx.png04 (assets/net-img-47acd07115c94ce781a8b5f7665ae719-20220311141004-yczpbtx.png)]

共有以下四个文件
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mOJVwQs4-1646986875625)(assets/net-img-1afef6793b0e45e69f6f930b26eeb0e2-20220311141004-lkokl1o.png)]

1.2 配置 parcel.sha文件

STREAMSETS_DATACOLLECTOR-3.22.3-el7.parcel.sha中的内容要和manifest.json中CDH版本一致

打开manifest.json文件，此文件时json格式，在其中找到parcelName为"STREAMSETS_DATACOLLECTOR-3.14.0-el7.parcel"对应的hash值
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1WJWhEnw-1646986875626)(assets/image-20220311154653-ie09c3u.png)]

将此hash拷贝到STREAMSETS_DATACOLLECTOR-3.14.0-el7.parcel.sha文件中
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yKaky0fc-1646986875628)(assets/image-20220311154919-tptaf48.png)]

1.3 上传 parcel以及csd文件

将STREAMSETS_DATACOLLECTOR-3.14.0-el7.parcel.sha，STREAMSETS_DATACOLLECTOR-3.14.0-el7.parcel二个文件上传到cloudera-scm-server所在节点的**/opt/cloudera/parcel-repo目录下
上传STREAMSETS-3.14.0.jar到cloudera-scm-server所在节点的/opt/cloudera/csd**目录下,并赋予权限

chown cloudera-scm:cloudera-scm STREAMSETS-3.14.0.jar
chmod 644  STREAMSETS-3.14.0.jar

在这里插入图片描述

1.4 重启 cloudera-scm-server

systemctl restart cloudera-scm-server

2 开始安装

2.1登录 Cloudera Manager

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EI04Nei8-1646986875633)(assets/Pasted image 20220301100131-20220308094008-5tp99tr.png)] 点击导航栏【主机】–【Parcel】进入Parcel管理页面
在这里插入图片描述

会发现并不能看到上传的Streamsets的parcel，这是因为cdh默认刷新parcel是一小时一次。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oN9PkJUa-1646986875635)(assets/Pasted image 20220301101208-20220308094101-phme26p.png)]
点击“配置”，将Parcel更新频率改为1分钟

1分钟后重新刷新页面就可以看到刚刚上传的Streamsets的parcel