【SDC】StreamSets实战之路-22-实战篇- 如何使用StreamSets实时采集Kafka数据并写入Hive表

已于 2022-06-10 18:30:47 修改
阅读量640 收藏 2
点赞数
分类专栏： StreamSets 文章标签： kafka hive hadoop
于 2022-02-21 12:00:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013522009/article/details/123044265
版权
本文详细介绍了如何使用StreamSets实现实时从Kafka采集数据并写入Hive。主要内容包括测试环境准备，配置StreamSets，创建Pipeline，以及验证测试。在Kerberos环境下，重点讨论了Kafka Consumer的配置，Hive Metadata，Hadoop FS模块的设置，以及Hive Metastore模块的作用。
摘要由CSDN通过智能技术生成

1.文档编写目的

本篇文章主要介绍如何使用StreamSets实时采集Kafka的数据并将采集的数据写入Hive，StreamSets的流程处理如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-n8LehaLw-1645415593760)(https://ask.qcloudimg.com/http-save/yehe-1522219/cr56v67c6f.jpeg?imageView2/2/w/1620)]

  • 内容概述

1.测试环境准备

2.配置StreamSets

3.创建Pipline及测试

4.总结

  • 测试环境

1.RedHat7.3

2.CM和CDH版本为cdh5.13.3

3.Kafka2.2.0(0.10.2)

4.StreamSets3.3.0

  • 前置条件

1.集群已启用Kerberos

2.集群已安装Kafka并启用Kerberos

2.测试环境准备

1.准备一个访问Kerberos环境的Kafka的fayson.keytab文件

[root
了解本专栏 订阅专栏 解锁全文 超级会员免费看
菜鸟蜀黍
关注
专栏目录
订阅专栏
数据对接-ETL之StreamSet学习之旅七微服务
网尘的技术专栏
01-16 2497
StreamSet作为大数据ETL工具的选择，当然需要处理数据的合并与转存，其大部分功能集中于此。有些场景可能需要其对外提供个接口，可以被调用，StreamSets能做到吗？答案是能！并且能做当今流行的微服务，啊！好高大上~，今天就来看看吧。 目录学习系列1、Restful风格的Api2、建立Api3、测试一下3.1 大名鼎鼎的Postman，后端程序员必备3.2 测试专业级Jmeter3.3...
StreamSets: 数据采集工具详解
最新发布
在路上的专栏
07-05 1533
StreamSets是一款开源的数据管道构建和管理平台，专为应对现代数据架构中的数据流挑战而设计。其核心组件StreamSets Data Collector（SDC）支持从多种数据源采集数据，并通过直观的图形化界面进行数据流的处理和监控。StreamSets广泛应用于实时数据集成、ETL流程、数据流监控和IoT数据处理等场景，具备图形化界面、多源支持和实时监控等优点。通过合理的配置和优化，StreamSets可以显著提升数据处理的效率和可靠性。
StreamSets实战之路（十五）-实战篇- 数据采集与处理
Macalzheng的专栏
02-24 3602
主要通过一个数据采集与处理的案例来介绍Streamsets（3.13.0）的使用，主要将使用Edge数据流收集streamsets系统的日志和主机性能指标，通过收集数据流收集类数据并进行简单处理，发送至kafka中，性能指标数据入库数据流和日志数据入库数据流分别从kafka中消费数据，并将两类数据进行简单处理加载到数据库中。 学习目的：使用edge和streamset的数据互动，使用streamset进行分布式异步数据处理。
StreamSets实战之路（十七）-实战篇-数据服务快速微服务化
Macalzheng的专栏
02-24 1847
主要通过一个数据服务快速微服务化的案例来介绍Streamsets（3.20.0 汉化版）的使用。在当前下，微服务化异常盛行，肯能大家之前都用过spring boot实现微服务应用（当然不知道的可以搜下 RESTful API，这里涉及的比较多不重点讲），很多原来不是微服务的服务就需要快速地改成RESTful 接口对外提供服务，要是要用spring boot改写的话，想必一定要Coding了，哈哈，现在不需要了，本章通过一个案例介绍怎么通过streamsets快速实现服务的微服务化。 学习目的：学习使用构.
如何在CDH中安装和使用StreamSets
cdmazzq的博客
01-16 2339
源文档 https://cloud.tencent.com/developer/article/1078852 1.关于StreamSets StreamSets由Informatica前首席产品官Girish Pancha和Cloudera前开发团队负责人Arvind Prabhakar于2014年创立。他们成立该公司主要是应对来自动态数据（data in motion）的挑战 - 包括数据源，...
【SDC】StreamSets实战之路-1-环境篇- StreamSets简介
m0_54252387的博客
06-28 264
StreamSets是国外一家致力于数据处理与分析的大数据解决方案的公司。公司主要选择DataOps发展路线，解决将数据转化为业务价值的重大挑战。至于为什么选择DataOps这条路子，有兴趣的同学可以查看https://streamsets.com/why-dataops/what-is-dataops/。自公司成立以来，成功研制了多款用于数据处理的软件及平台。下图是该公司主要的产品：Streamsets推出的产品主要包含：Data Collector、Transformer和Control Hub。Dat
【SDC】StreamSets实战之路-27-实战篇- 使用StreamSets实时采集Kafka中嵌套JSON数据并写入Hive表
菜鸟叔叔的博客
02-21 411
本篇文章主要介绍如何使用StreamSets实时采集Kafka中嵌套的JSON数据并将采集的数据写入Hive，StreamSets的流程处理如下：
【SDC】StreamSets实战之路-26-实战篇- 如何使用StreamSets实时采集Kafka并入库Kudu
菜鸟叔叔的博客
02-21 714
本篇文章主要介绍如何使用StreamSets实时采集Kafka的数据并将采集的数据写入Kudu。
【SDC】StreamSets实战之路-28-实战篇- 使用StreamSets实时采集指定数据目录文件并写入库Kudu
菜鸟叔叔的博客
02-22 430
本篇文章主要介绍通过StreamSets实时的方式读取本地的数据文件，通过解析处理将文件中的内容写入到Kudu中。
【SDC】StreamSets实战之路-25-实战篇- 如何使用StreamSets实现MySQL中变化数据实时写入Kudu
菜鸟叔叔的博客
02-21 842
我们在本篇文章主要介绍如何将MySQL Binary Log作为StreamSets的源，来实时捕获MySQL变化数据并将变化数据存入Kudu。
Kafka大数据实战
06-19
讲解消息队列的作用及kafka的基本概念及特性，包括kafka的环境搭建，Kafka常见面试问题，Kafka的shell操作，Kafka工作原理，实战将所学的知识点应用到java小项目中；包括消息的产生、数据的存储、数据的消费、kafka读写数据如何保证高效性等多个知识点，我们在课程中都会一一详细讲解。
streamsets-帮助手册
10-12
《streamsets-帮助手册》英文带目录版，这个工具估计用的人估计不多，但是做大数据平台的etl工具用还是很强大的，想学的话慢慢看很有用。 平台竟然把分调到这个高，分#不$^够的可以私*信wo解决，看到会回复，希望不被和#谐
Scala代码积累之spark streaming kafka 数据存入到hive源码实例
03-01
Scala代码积累之spark streaming kafka 数据存入到hive源码实例，Scala代码积累之spark streaming kafka 数据存入到hive源码实例。
【SDC】StreamSets实战之路-11-基础篇- StreamSets-数据流开发- Edge数据流设计
菜鸟叔叔的博客
02-19 315
主要介绍StreamSets中Edge数据流设计，以系统硬件指标采集为例，将从指定的机器上采集相关指标，并将指标发送到数据流中进行处理
【SDC】StreamSets实战之路-12-基础篇- StreamSets-数据流管理
m0_54252387的博客
06-29 185
（1）导入导出，在进行数据流迁移时会用到（2）数据流复制，在需要多个数据流并行执行时需要用到（3）数据流分享，多用户不同权限的用户之间可以进行数据流的分享（4）数据流删除，不需要的数据流可以进行批量删除（5）数据流批量启停，在需要进行多个数据流进行批量启动或停止时Streamsets实战之路正在更新中，尽情期待！！！...
【SDC】StreamSets实战之路-6-基础篇- StreamSets-origin类组件使用
m0_54252387的博客
06-28 214
Origin****类组件主要包含以下：Amazon S3Amazon SQS ConsumerAzure Data Lake Storage Gen1Azure Data Lake Storage Gen2Azure IoT/Event Hub ConsumerCoAP ServerCron Scheduler // 任务调度组件，用于调度数据流Directory // 文件目录组件，用于从文件目录下读取数据Elasticsearch // ES源组件,用于从ES中读取数据File Tail // 文件源
StreamSets实战之路（一）-环境篇- StreamSets简介
Macalzheng的专栏
04-25 6913
StreamSets总体介绍 StreamSets是国外一家致力于数据处理与分析的大数据解决方案的公司。公司主要选择DataOps发展路线，解决将数据转化为业务价值的重大挑战。至于为什么选择DataOps这条路子，有兴趣的同学可以查看https://streamsets.com/why-dataops/what-is-dataops/。 自公司成立以来，成功研制了多款用于数据处理的软件及平台。...
【SDC】StreamSets实战之路-10-基础篇- StreamSets-数据流开发-微服务数据流设计
m0_54252387的博客
06-29 286
微服务在当前已经是非常流行的技术，将大型或复杂的系统进行模块拆分成功能单一、组织灵活的微服务，从而降低系统的耦合性，提高系统的灵活性、高可用性、运行高效性等。为此，Streamsets也提供了微服务简单、快速的开发方案，在设计微服务时，只需通过现有的插件任意组合就可以设计出简单或复杂的微服务。（1）创建一个微服务数据流（2）会生成一个微服务数据流模板（3）下面对生成的模板进行改进，并运行该数据流主要的关键组件有REST Service、HTTP Router、JDBC Lookup、JDBC Tee、Sen
Streamsets SDC配置Oracle CDC：实时同步与归档日志详解
本文档详细介绍了如何在流批一体Streamsets Data Collector (SDC)环境中配置Oracle CDC (Change Data Capture) 实时同步功能，特别关注了针对不同Oracle版本的配置差异。首先，确保数据库归档是至关重要的，因为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

菜鸟蜀黍

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值