StreamSets 在CDH上安装外部库配置

最新推荐文章于 2024-09-02 07:30:00 发布
最新推荐文章于 2024-09-02 07:30:00 发布
阅读量2.7k 收藏 2
点赞数
分类专栏： StreamSets
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43215250/article/details/87981707
版权

  1. 在Cloudera Manager中，选择StreamSet服务，然后单击“ 配置”。
    搜索 sdc-env.sh,配置StreamSets包的路径

    export STREAMSETS_LIBRARIES_EXTRA_DIR="/opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR/sdc-extras/"

    在这里插入图片描述

  2. 每个Data Collector节点上创建 /opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR/sdc-extras目录,并修改目录权限为 sdc：sdc

    mkdir /opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR/sdc-extras
chown sdc:sdc /opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR/sdc-extras

  3. 配置安全策略给该目录授权

    搜索 sdc-security.policy，加入下面配置

    // user-defined external directory
grant codebase "file:///opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR/sdc-extras/-" {
  permission java.security.AllPermission;
};

    在这里插入图片描述

  4. 上传jar包
    在这里插入图片描述
    在这里插入图片描述

  5. 重启StreamSets。

storm_fury
关注
专栏目录
【SDC】StreamSets实战之路-20-环境篇- 如何在CDH中安装和使用StreamSets
m0_54252387的博客
07-08 205
1.关于StreamSetsStreamSets由Informatica前首席产品官Girish Pancha和Cloudera前开发团队负责人Arvind Prabhakar于2014年创立。他们成立该公司主要是应对来自动态数据（data in motion）的挑战 - 包括数据源，数据处理和数据本身，这是一个称为“数据漂移“（https://streamsets.com/reports/data-drift/）的问题。StreamSets设想从头开始管理数据流，避免已有产品和工具的缺陷，并启用一种管理动
StreamSets: 数据采集工具详解
在路上的专栏
07-05 1530
StreamSets是一款开源的数据管道构建和管理平台，专为应对现代数据架构中的数据流挑战而设计。其核心组件StreamSets Data Collector（SDC）支持从多种数据源采集数据，并通过直观的图形化界面进行数据流的处理和监控。StreamSets广泛应用于实时数据集成、ETL流程、数据流监控和IoT数据处理等场景，具备图形化界面、多源支持和实时监控等优点。通过合理的配置和优化，StreamSets可以显著提升数据处理的效率和可靠性。
cdh集成StreamSets安装配置
程序员s的博客
12-27 1360
1.安装前准备 到StreamSets官网提供的下载址：https://archives.streamsets.com/index.html 下载以下文件：这里下载使用的是 3.0版本 1.manifest.json 文件 2.STREAMSETS_DATACOLLECTOR-3.0.0.0-el7.parcel文件（比较大约4G左右，包含比较完整的插件） 3.STREAMSETS-3....
配置streamsets外部库
aachangs的博客
03-30 735
可用来解决导入外部包时产生的streamsets REST_1003 - Failed to create directory: lib 错误 第一步：查看原始配置位置 第二步：到服务器查看相应文件夹下有没有 streamsets-libs-extras文件夹，没有的话创建一个，并赋予权限 chown -R sdc:sdc /opt/streamsets-datacollector/strea...
CDH集群安装StremSet
weixin_45382658的博客
05-18 339
1准备文件 CDH集群部署参考前期文档,将StremsSet的parcel上传至服务器 1直接上传: 下载StremSet的Parcel包,通过SFTP上传至 /tmp 官方地址包提供地址 https://archives.streamsets.com/index.html 如果需要在CDH环境下安装StremSet,必须下载的三个文件, parcel包 jar包 对应版本的SHA验证文件 2从其他集群拷贝 scp /opt/cloudera/parcel-repo/STREAMSETS_DATACOLLE
如何在CDH中安装和使用StreamSets
荒野漂客博客
05-19 196
https://cloud.tencent.com/developer/article/1078852
Streamsets3.21 mysql同步到kudu
kkHMou的博客
04-13 542
部分用法的官方链接： https://streamsets.com/documentation/datacollector/3.21.x/help/index.html streamsets没有内置的mysql驱动包，CDH版本则需要添加外部库，详见： https://blog.csdn.net/kkHMou/article/details/115319697 1. 单表同步 2. 实时同步 ...
Streamsets（二）SS添加MySQL驱动包
人是有思想的芦苇
08-29 681
1、创建目录 因为是使用的CDH集成的SS，因此外部依赖的目录实际上并没有创建，外部依赖的存放位置从这查看 到部署了SS的服务器上手动创建SDC Libraries Extra Directory配置的目录，并修改权限为sdc:sdc sudo mkdir /opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR-3.13.0/streamsets-libs-extras sudo chown -R sdc:sdc /opt/cloudera/par.
流集数据收集器配置：使用数据治理工具
JAVASoftEngineer的博客
10-19 414
流集数据收集器配置：使用数据治理工具
从入门到精通 - Fayson带你玩转CDH
Hadoop_SC的博客
09-22 3883
Fayson保持每天推一篇文章，本文随之每天更新。 以下所有文章均为超链接，可以直接点击文章名跳转。 还没附上超链接的文章是还没上传的，会再后续更新后陆续补上 1.规划设计 1.1.on-premise部署规划 0001-《CDH网络要求(Lenovo参考架构)》 0062-《如何为Hadoop集群选择正确的硬件》 0158-《如何给Hadoop集群划分角色》 1.2.on private c...
流集数据收集器最新消息
JAVASoftEngineer的博客
10-18 116
流集数据收集器最新消息
数据仓库基于DB2 -详解分析
02-23
基于DB2的数据仓库详解分析，部分技术直接应用于国内的电信公司企业，希望对大家有所帮助！
使用CDH6.3.2安装Streamsets
hellowangxiansheng的博客
04-07 339
将STREAMSETS-3.22.3.jar上传到cloudera-scm-server所在节点的/opt/cloudera/csd目录下。将下载的Streamsets3.22.3版本对应的安装包放在/opt/cloudera/parcel-repo路径下。打开官方提供的下载地址：https://accounts.streamsets.com/archives。已分配，已激活，点击Cloudera Manager回到主界面。点击选择主机，按需勾选要部署的节点。点击主机，点击Parcel。
cdh6集成streamsets3详解
我思，顾我在
08-28 631
一、前期准备 官网下载地址：https://archives.streamsets.com/index.html 需要下载以下三个文件： 二、启动httpd-server #查看启动状态 service httpd status #启动 service httpd start 三、配置本地parcel包 四、配置csd # 复制jar包 cp STREAMSETS-3.6.1.jar /opt/cloudera/csd #修改权限 chown cloudera-scm:cloudera-scm S
使用StreamSets将MySQL中变化的数据实时的导入到HBase中
象在舞的技术专栏
06-14 1478
在之前的博客中，小编介绍了如何在CDH中安装StreamSets，文章链接为：《CDH6.3.1中安装StreamSets3.16.0》。透过这个文章名称也能够看出来小编使用的CDH版本以及安装的StreamSets的版本了，这里就不多说了，本文主要介绍如何使用StreamSets实时的将MySQL中的数据导入到HBase中，主要从以下三个方面进行讲解：一、直接将数据实时的导入到HBase；二、选取部分字段进行实时导入；三、使用SQL查询的方式将MySQL中的数据实时的导入到HBase中。 ...
数据集成平台（Streamsets）
最新发布
weixin_43156294的博客
09-02 964
Streamsets 是一款企业级的开源数据集成平台。通过拖拽式的可视化界面实现数据管道的设计和定时任务调度，数据源支持 MySQL、Oracle 等结构化和半/非结构化，目标源支持 HDFS、Hive、HBase、Kudu、Solr、Elasticsearch 等。
Streamsets之CDH安装
叁木大数据
08-04 886
Streamsets之CDH安装一、环境介绍二、下载StreamSets安装包2.1 下载地址2.2 下载内容 一、环境介绍 组件 CDH Streamsets 版本 5.14.4 3.12.0 所以之后的教程都会以这两个版本去介绍，使用CDH去管理Streamsets 二、下载StreamSets安装包 2.1 下载地址 https://archives.streamsets.com/index.html 2.2 下载内容 下载如图所框的四个内容！ 1）上传下载内容manifest.
CDH中安装StreamSets
storm_fury
02-26 2529
StreamSets 安装部署 StreamSets 简介 StreamSets由Informatica前首席产品官Girish Pancha和Cloudera前开发团队负责人Arvind Prabhakar于2014年创立。他们成立该公司主要是应对来自动态数据（data in motion）的挑战 - 包括数据源，数据处理和数据本身，这是一个称为“数据漂移“（https://streamse...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值