【SDC】CDH6.3.2中通过parcel安装Streamsets Data Collector 3.14.0

最新推荐文章于 2024-05-23 17:22:29 发布
最新推荐文章于 2024-05-23 17:22:29 发布
阅读量533 收藏 2
点赞数
分类专栏： 【Streamsets】 文章标签： hadoop 大数据 分布式 etl
原文链接：https://editor.csdn.net/md/?articleId=123277693
版权

文章目录

本文档主要讲述如何在Cloudera Manager 管理的集群中安装StreamSets和基本使用。

1.安装前的准备

1.1 下载Streamsets Data Collector

到StreamSets官网提供的下载址：https://archives.streamsets.com/index.html 下载以下文件：这里下载使用的是 3.14.0版本
[外链图片转存失败,源站可能有防盗​链机制,建议将图片保失败,源站可能有防盗链机制,建议将图片保存下来直接上传存上传(imXBrpAF2g0m-1646986875623)(assets/net-img-47acd071154ce78ca8b5f7665ae711-20220311141039-yczpbtx.png04 (assets/net-img-47acd07115c94ce781a8b5f7665ae719-20220311141004-yczpbtx.png)]

共有以下四个文件
​[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mOJVwQs4-1646986875625)(assets/net-img-1afef6793b0e45e69f6f930b26eeb0e2-20220311141004-lkokl1o.png)]

1.2 配置 parcel.sha文件

STREAMSETS_DATACOLLECTOR-3.22.3-el7.parcel.sha中的内容要和manifest.json中CDH版本一致

打开manifest.json文件，此文件时json格式，在其中找到parcelName为"STREAMSETS_DATACOLLECTOR-3.14.0-el7.parcel"对应的hash值
​[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1WJWhEnw-1646986875626)(assets/image-20220311154653-ie09c3u.png)]

将此hash拷贝到STREAMSETS_DATACOLLECTOR-3.14.0-el7.parcel.sha文件中
​[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yKaky0fc-1646986875628)(assets/image-20220311154919-tptaf48.png)]

1.3 上传 parcel以及csd文件

将STREAMSETS_DATACOLLECTOR-3.14.0-el7.parcel.sha，STREAMSETS_DATACOLLECTOR-3.14.0-el7.parcel二个文件上传到cloudera-scm-server所在节点的**/opt/cloudera/parcel-repo目录下
​[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8swuvJpu-1646986875630)(assets/image-20220311155200-x4ltvbu.png)]上传STREAMSETS-3.14.0.jar到cloudera-scm-server所在节点的/opt/cloudera/csd**目录下,并赋予权限

chown cloudera-scm:cloudera-scm STREAMSETS-3.14.0.jar
chmod 644  STREAMSETS-3.14.0.jar

在这里插入图片描述

1.4 重启 cloudera-scm-server
systemctl restart cloudera-scm-server

2 开始安装

2.1登录 Cloudera Manager

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EI04Nei8-1646986875633)(assets/Pasted image 20220301100131-20220308094008-5tp99tr.png)]点击导航栏【主机】–【Parcel】进入Parcel管理页面
在这里插入图片描述

会发现并不能看到上传的Streamsets的parcel，这是因为cdh默认刷新parcel是一小时一次。
​[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oN9PkJUa-1646986875635)(assets/Pasted image 20220301101208-20220308094101-phme26p.png)]
点击“配置”，将Parcel更新频率改为1分钟
​[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-L521jxOX-1646986875637)(assets/Pasted image 20220301100809-20220308094114-z778s06.png)]
1分钟后重新刷新页面就可以看到刚刚上传的Streamsets的parcel

2.2分发并激活Parcel

点击“分配” 开始分发parcel

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DCK7EC0T-1646986875640)(assets/Pasted image 20220301101636-20220308094127-knyemq9.png)]
点击“分配” 开始分发parcel

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fHLH2gPd-1646986875642)(assets/Pasted image 20220301101744-20220308094204-7xzgnbb.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Sa1vdAHB-1646986875643)(assets/Pasted image 20220301102147-20220308094245-iaef4o2.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rc3IMZOS-1646986875644)(assets/Pasted image 20220302094549-20220308094254-k6js8o1.png)]
点击“激活”，开始激活parcel

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YDel8Trf-1646986875645)(assets/Pasted image 20220302094629-20220308094302-lc0dabw.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uDb5Abvj-1646986875646)(assets/Pasted image 20220302094706-20220308094311-lvt6shl.png)]

2.3 安装StreamSets Data Collector

选择集群名称右边的下拉框，选中【添加服务】

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-y78Ss7XM-1646986875647)(assets/Pasted image 20220302095103-20220308094318-hz4mlzr.png)]

此时可以看到 新安装的Streamsets服务

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Zy6aptJb-1646986875649)(assets/Pasted image 20220303133914-20220308094445-uvt2u76.png)]

选择将要安装到的节点

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EskiJbA1-1646986875650)(assets/Pasted image 20220303133824-20220308094439-z20glcx.png)]

设置Streamsets的安装目录

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4Nl3pnfl-1646986875651)(assets/Pasted image 20220303133949-20220308094421-lijczze.png)]

开始安装

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-khFr3H9P-1646986875652)(assets/Pasted image 20220303134137-20220308094415-rkj3y69.png)]

看到这个页面就代表安装成功了

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ocHVKoJP-1646986875654)(assets/Pasted image 20220303134202-20220308094407-z3ptq18.png)]

回到Cloudera Manager首页，点击“Streamsets·”服务，进入Streamsets管理页面
在这里插入图片描述在这里插入图片描述

点击【Web UI】选择下拉出的【Data Collector Web UI】链接就可以进入Streamsets的登录页面了

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-onf8LtN6-1646986875660)(assets/Pasted image 20220303134754-20220308094346-5zybcid.png)]

附：StreamSets 官方示例视频链接:
StreamSets Videos
StreamSets Product Explainers
StreamSets Snacks
StreamSets for Snowflake
StreamSets for Databricks
StreamSets for Azure
StreamSets for AWS
StreamSets Academy
StreamSets Data Collector Engine
StreamSets Control Hub

九层之台起于累土
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
StreamSet 3.14 来袭
网尘的技术专栏
04-08 1531
最近计划升级下StreamSet平台，因为随着迭代，StreamSets已经升级到3.14版本了，看了下更新日志，还是有很多的性能改善地方，因此就升级下吧。 从亚马逊云下载大包是个痛苦的过程，这里共享出我的网盘，供大家快速下载，注意，5G左右的下载包，小心你的磁盘~~~~~ # 3.13的下载地址。 官方下载： [https://streamsets.com/products/dataops-...
manifest.json
07-25
manifest.json文件，可与CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha，CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel亲测可用
StreamSets 简介
YF_Li123的博客
09-03 3442
目录   1. 什么是StreamSet Data Collector 2.  如何使用StreamSets Data Collector 3.  StreamSets Data Collector是如何工作的？ 1. 什么是StreamSet Data Collector     StreamSets Data Collector是一个轻量级，功能强大的引擎，可实时传输数据。 使用D...
CDH 6.3.2安装部署（超详细）
最新发布
2201_75470972的博客
05-23 2199
超级详细的cdh6.3.2安装部署教程
DataOps的现代数据集成工具—StreamSets
你的世界是你创造的结果
09-24 1078
StreamSets | “流集” StreamSets StreamSets 是DataOps的现代数据集成工具，可以在不断的变化中持续交付数据。 StreamSets DataOps平台可以帮助用户向业务的各个部分提供连续的数据，并使用现代的数据工程和集成方法来处理数据漂移。它有快速和容易使用、最大的灵活性、无与伦比的弹性等特点。 StreamSets跨数据湖和数据仓库进行交付，设计灵活的混合数据架构，使您能够采用最新的创新，并保持数据的更新和同步。 1、摄取并转换数据：在数分钟内将任何的
CDH搭建大数据平台（6.3.2）超详细，总结
NUT_0的博客
03-04 3457
Cloudera（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。 由于组件齐全，安装维护方便，国内已经有不少公司部署了CDH大数据平台，此处我选择CDH 6.3版本。
数据汇聚Streamsets Data Collector安装部署详细文档
03-30
流批一体数据汇聚工具Streamsets Data Collector（SDC）安装部署运维文档
流批一体Streamsets Data Collector(SDC)管道Oracle CDC实时同步配置文档
03-30
流批一体Streamsets Data Collector(SDC)管道Oracle CDC实时采集配置文档，详细说明各种不同oracle版本的附加日志以及重做日志配置差异点
Streamsets Data Collector管道详细配置文档（组件、事件、函数表达式、记录头属性）
03-31
详细介绍Streamsets Data Collector(SDC)管道中源端、目标端、处理器、执行器中各个常用组件及用法配置。说明管道中常用的表达式语句、记录头属性、函数用法。管道的开始和结束事件、RPC管道、数据汇聚增量及全量的...
sdc-mapr-k8s:该项目使用MapR v6.1客户端和Kubernetes部署支持构建StreamSets Data Collector（SDC）的自定义Docker映像
03-19
确保包括streamsets-datacollector-mapr_6_1-lib和streamsets-datacollector-mapr_6_1-mep6-lib阶段库。我以streamsets-datacollector-jython_2_7-lib库为例。编辑在SDC_ENTERPRISE_STAGE_LIBS设置的Enterprise阶段...
藏经阁-Building Data Pipelines with Spark and StreamSets.pdf
08-29
5. StreamSets Data Collector：StreamSets Data Collector 是一个开源的软件，用于快速开发和可靠地操作复杂的数据流程。它具有 Intent-Driven、UI 抽象和可扩展性等特点。 6. Running Pipelines on Spark：在 ...
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.zip.001
03-04
CDH6.3.2 亲测可用 对应CM6.3.1
cdh6.3.2集成flink1.10.2-parcel包(亲测可用)
12-01
源码编译制作的parcel包，centos7.5+cdh6.3.2+scala2.12亲测可用，内附文章教程地址。
streamsets-datacollector 安装与启动
yuxj的博客
03-26 3200
streamsets-datacollector-all-3.21.0 安装步骤 1.安装jdk8 jdk安装网上教程很多，在这就不详细记录了 2.下载streamsets 官网https://archives.streamsets.com/index.html 注册账户后 下载 Full TarballTarball for Linux(Tarball sha1) 在下载的过程中 我们可以创建几个能用到的文件夹 mkdir/data/streamsets/data mkdi...
streamsets下载需要注册
如若時光倒流
11-03 894
记录下： streamsets从3.15x开始下载是需要注册
cloudera manager CDH6.3.2集成streamsets
code在飞的博客
03-31 231
streamsets产品是一个做大数据ETL的工具，支持包括结构化和半/非结构化数据源，拖拽式的可视化数据流程设计界面。而Streamsets旗下有如下三个产品： streamsets data collector(核心产品,开源)：大数据ETL工具；streamsets control hub(收费项目)：可以将collector编辑好的pipeline放入control hub进行管理，可实现定时调度、管理和pipeline拓扑；manifest.json(可以不放置)
CDH6.3.2（cdh5适用）集成自制Kyuubi Parcel（自定义parcel部署到CM）
weixin_44957036的博客
12-11 910
将开源组件部署到CM上，以KYUUBI为例
StreamSets 3.22.x 已经发布，下载在文后百度网盘
网尘的技术专栏
04-06 2596
下载过StreamSets的同学，应该深有体会，那速度，比龟速还慢，因为它老断，实在是没法下载，这不，为了解决这个问题，我特意架上云梯拉了回来。 1、来自愚人节的发布 首先这不是一个谎言，新版本增加了一些功能和修正了一些bug。 版本3.22.1-2021年4月1日 版本3.22.0-2021年3月23日 2、新功能和增强功能 2.1 组件增强 JDBC Lookup processor : 处理器包括新的“验证列映射”属性。 选中后，列映射列表中的所有列必须存在于管道启动时的数据库。默认情况下，.
CDH 6.3.2 安装（二）
热门推荐
星辰大数据的博客
03-29 1万+
一、网络配置 1、静态网卡配置 先查看原本的配置信息 cat /etc/sysconfig/network-scripts/ifcfg-ens33 防止配置失败，先备份一份 cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-ens33.tempalte cat /e...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值