【SDC】StreamSets实战之路-2-环境篇- StreamSets安装与配置

已于 2022-06-10 17:26:40 修改
阅读量1.5k 收藏
点赞数
分类专栏： StreamSets 文章标签： etl
于 2022-02-18 15:18:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013522009/article/details/123004274
版权
本文详细介绍了StreamSets Data Collector (DC) 和 StreamSets Data Collector Edge (DC Edge) 的安装配置过程，包括手动解压安装、RPM软件包安装和Docker安装方法。在安装前，需满足最小化硬件和软件需求，如Java环境。文章还讲解了如何在Linux系统上设置文件打开数，并提供了不同操作系统下的具体配置步骤。此外，文中还提及了Edge的轻量级特性及其安装选项。
摘要由CSDN通过智能技术生成

主要介绍StreamSets DC和StreamSets DC Edge的安装以及环境配置。

1.StreamSets DC****安装与配置

StreamSets官方网站提供了多种安装方式，包括：手动解压Tarball包安装、通过RPM软件包安装、通过Cloudera Manager安装、通过Docker安装，除了这几种安装方式，还提供了在云服务商上安装或者在MapR集群上安装。当然，你可以安装包括所有阶段库的完整版本的Data Collector，或者，可以安装Data Collector的core版本以仅安装要使用的阶段库，core版本安装使Data Collector可以使用更少的磁盘空间。

（1）安装需求：

组件

最小化需求

硬件组件支持

CPU核数：2

内存：1GB

磁盘空间：6GB

文件打开数：32768

操作系统支持

Mac OS X

CentOS 6.x或7.x

Oracle Linux 6.x 或 7.x

Red Hat Enterprise Linux 6.x 或 7.x

Ubuntu 14.04 LTS 或 16.04 LTS

环境支持

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【SDC】StreamSets实战之路-17-实战篇-数据服务快速微服务化
m0_54252387的博客
06-29 419
主要通过一个数据服务快速微服务化的案例来介绍Streamsets（3.20.0 汉化版）的使用。在当前下，微服务化异常盛行，肯能大家之前都用过spring boot实现微服务应用（当然不知道的可以搜下 RESTful API，这里涉及的比较多不重点讲），很多原来不是微服务的服务就需要快速地改成RESTful 接口对外提供服务，要是要用spring boot改写的话，想必一定要Coding了，哈哈，现在不需要了，本章通过一个案例介绍怎么通过streamsets快速实现服务的微服务化。...
【SDC】StreamSets实战之路-20-环境篇- 如何在CDH中安装和使用StreamSets
菜鸟叔叔的博客
06-01 203
StreamSets是一个大数据采集工具，数据源支持包括结构化和半/非结构化，目标源支持HDFS，HBase，Hive，Kudu，Cloudera Search, ElasticSearch等。它包括一个拖拽式的可视化数据流程设计界面，定时任务调度等功能...
Streamsets data collector 安装
qq_31515997的博客
02-25 1537
Streamstsets data collector
streamsets-datacollector 安装与启动
yuxj的博客
03-26 3340
streamsets-datacollector-all-3.21.0 安装步骤 1.安装jdk8 jdk安装网上教程很多，在这就不详细记录了 2.下载streamsets 官网https://archives.streamsets.com/index.html 注册账户后 下载 Full TarballTarball for Linux(Tarball sha1) 在下载的过程中 我们可以创建几个能用到的文件夹 mkdir/data/streamsets/data mkdi...
StreamSets Data Collector Docker 项目推荐
最新发布
gitblog_00875的博客
11-14 900
StreamSets Data Collector Docker 项目推荐 datacollector-docker Dockerfiles for StreamSets Data Collector 项目地址: https://...
streamsets安装部署
热门推荐
知识的力量
12-14 1万+
详细步骤请查看：https://github.com/streamsets/datacollector/blob/2.6/BUILD.md1 平台介绍大数据采集平台，数据源支持结构化和非结构化数据采集，目标源支持hdfs或hive 等，可视化流程设计界面，定时任务调度。2 环境配置  Centos 7l Git 1.9+（git-2.9.4.tar.gz）l JDK 8 （略）l Maven 3....
streamsets docker版安装部署
zilong230905的专栏
12-09 2744
首先确保系统安装并启动docker 打开streamsets官网，选择docker image，如下图所示   参照官网介绍即上图所示，执行docker run...命令，完成streamset安装部署    ...
StreamSets 3.22.2 安装部署
zgrwbb的博客
09-10 4101
StreamSets(3.22.2) 安装部署: StreamSets Control Hub是所有数据流管道的中心控制点。Control Hub允许团队大规模构建和执行大量复杂的数据流。: StreamSets Data Collector是一种轻量级、功能强大的设计和执行引擎，可以实时传输数据。使用Data Collector路由和处理数据流中的数据: StreamSets Transformer是一个执行引擎，它在开源集群计算框架 Apache Spark 上运行数据处理管道。
【SDC】StreamSets实战之路-19-实战篇-对外提供微服务接口
菜鸟叔叔的博客
02-21 873
StreamSet作为大数据ETL工具的选择，当然需要处理数据的合并与转存，其大部分功能集中于此。有些场景可能需要其对外提供个接口，可以被调用，StreamSets能做到吗？答案是能！并且能做当今流行的[微服务](https://so.csdn.net/so/search?q=%E5%BE%AE%E6%9C%8D%E5%8A%A1&spm=1001.2101.3001.7020)，啊！好高大上~，今天就来看看吧。...
datacollector, StreamSets DataCollector连续大数据摄取基础架构.zip
09-17
datacollector, StreamSets DataCollector连续大数据摄取基础架构 什么是StreamSets数据收集器？StreamSets数据收集器是一个企业级，开放源码，连续大数据收集基础设施。 它有一个先进且容易使用的用户界面，使数据科学家。开发人员和数据基础设施轻松创建数据管道。 StreamSets数
streamsets安装部署（core）、数据同步
wenxi2367的博客
08-12 932
一.安装部署 下载 wget --no-check-certificate https://archives.streamsets.com/datacollector/3.17.0/tarball/streamsets-datacollector-core-3.17.0.tgz 解压 解压到你想要的路径下： 配置环境参数 [maxiu@zhumei00 ~]$ sudo vi /etc/security/limits.conf 添加下述内容（maxiu为用户名）,该步骤需要重启 .
datacollector:StreamSets Data Collector-连续的大数据和云平台获取基础架构
03-17
什么是StreamSets数据收集器？ StreamSets Data Collector是企业级的，开源的，连续的大数据摄取基础架构。 它具有先进且易于使用的用户界面，使数据科学家，开发人员和数据基础架构团队可以轻松地在创建复杂摄取场景所需的短时间内创建数据管道。 开箱即用的StreamSets Data Collector可以读写大量端点，包括S3，JDBC，Hadoop，Kafka，Cassandra等。 除了大量的预建阶段之外，您还可以使用Python，Javascript和Java Expression Language来即时转换和处理数据。 为了实现容错和横向扩展，可以在集群模式下设置数据管道，并在管道的每个阶段执行细粒度的监视。 要了解更多信息，请访问 构建StreamSets数据收集器 要从源代码构建StreamSets数据收集器，。 执照 StreamSets Dat
数据汇聚Streamsets Data Collector安装部署详细文档
03-30
流批一体数据汇聚工具Streamsets Data Collector（SDC）安装部署运维文档
流批一体Streamsets Data Collector(SDC)管道Oracle CDC实时同步配置文档
03-30
流批一体Streamsets Data Collector(SDC)管道Oracle CDC实时采集配置文档，详细说明各种不同oracle版本的附加日志以及重做日志配置差异点
探索高效数据流处理的利器：StreamSets Data Collector
gitblog_00018的博客
08-06 955
探索高效数据流处理的利器：StreamSets Data Collector 项目地址:https://gitcode.com/gh_mirrors/da/datacollector-oss 项目介绍 StreamSets Data Collector 是一款专为大数据摄入而设计的企业级开源平台，以其强大的功能和易用性脱颖而出。它提供了一个先进的图形用户界面，使数据工程师、数据科学家、开发者以及数...
Streamsets Data Collector 3.12
忄凝^的博客
08-05 2268
Streamsets sdc操作流程
StreamSets: 数据采集工具详解
在路上的专栏
07-05 1815
StreamSets是一款开源的数据管道构建和管理平台，专为应对现代数据架构中的数据流挑战而设计。其核心组件StreamSets Data Collector（SDC）支持从多种数据源采集数据，并通过直观的图形化界面进行数据流的处理和监控。StreamSets广泛应用于实时数据集成、ETL流程、数据流监控和IoT数据处理等场景，具备图形化界面、多源支持和实时监控等优点。通过合理的配置和优化，StreamSets可以显著提升数据处理的效率和可靠性。
Streamsets--一个流批一体的ETL工具
daydaylearn的专栏
03-04 5886
什么是StreamSetsData Collector? StreamSets Data Collector是一个轻量级、强大的设计和执行引擎，可以实时处理流数据。使用Data Collector器来路由和处理数据流中的数据。 要定义数据流，需要在Data Collector中设计一个管道(pipeline)。管道由表示管道的起点和目的地的阶段以及希望执行的任何其他处理组成。在设计了管道之后，单击Start，Data Collector开始工作。 Data Collector在数据到达原点(orig.
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

菜鸟蜀黍

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值