【Kafka】（六）Flume读取数据连接到Kafka，利用Kafka Stream实现数据清洗

最新推荐文章于 2022-01-23 15:30:47 发布
最新推荐文章于 2022-01-23 15:30:47 发布
阅读量538 收藏 1
点赞数 1
分类专栏： Kafka Flume 文章标签： kafka flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qianchun22/article/details/111231560
版权
本文介绍了如何使用Flume从user_friends.csv和event_attendees.csv文件读取数据，并将其发送到Kafka。接着，通过Kafka Stream对数据进行清洗，分别清洗user_friends_raw和event_attend_raw数据，最终将清洗后的数据存入新的主题。整个过程包括Flume配置、Kafka Stream Java代码编写以及消息的消费和检查。
摘要由CSDN通过智能技术生成

需求：
Flume将数据加载进入Kafka的流输入topic后，利用Kafka Stream将数据清洗后写入流输入topic。

案例一：处理user_friends.csv数据

一、Flume读取数据连接到Kafka

创建Topic

[root@hadoop001 ~]# kafka-topics.sh --zookeeper 192.168.247.201:2181 --create --topic user_friends_raw  --partitions 1 --replication-factor 1

编写 userFriend-flume-kafka.conf

vi /opt/flume/conf/jobkb09/userFriend-flume-kafka.conf

内容如下：

user_friend.sources=userFriendSource
user_friend.channels=userFriendChannel
user_friend.sinks=userFriendSink

user_friend.sources.userFriendSource.type=spooldir
user_friend.sources.userFriendSource.spoolDir=/opt/flume/conf/jobkb09/dataSourceFile/userFriend
user_friend.sources.userFriendSource.deserializer=LINE
user_friend.sources.userFriendSource.deserializer.maxLineLength=320000
user_friend.sources.userFriendSource.includePattern=userFriend_[0-9]{
   4}-[0-9]{
   2}-[0-9]{
   2}.csv
user_friend.sources.userFriendSource.interceptors=head_filter
user_friend.sources.userFriendSource.interceptors.head_filter.type=regex_filter
user_friend.sources.userFriendSource.interceptors.head_filter.regex=^user,friends*
user_friend.sources.userFriendSource.interceptors.head_filter.excludeEvents=true
          
user_friend.channels.userFriendChannel.type=file
user_friend.channels.userFriendChannel.checkpointDir=/opt/flume/conf/jobkb09/checkPointFile/userFriend
user_friend.channels.userFriendChannel.dataDirs=/opt/flume/conf/jobkb09/dataChannelFile/userFriend

user_friend.sinks.userFriendSink.type=org.apache.flume.sink.kafka.KafkaSink
user_friend.sinks.userFriendSink.batchSize=640
user_friend.sinks.userFriendSink.brokerList=192.168.247.201:9092
user_friend.sinks.userFriendSink.topic=user_friends_raw

user_friend.sources.userFriendSource.channels=userFriendChannel
user_friend.sinks.userFriendSink.channel=userFriendChannel

启动flume agent

cd /opt/flume
./bin/flume-ng agent --name user_friend --conf ./conf/ --conf-file ./conf/jobkb09/userFriend-flume-kafka.conf -Dflume.root.logger=INFO,console

在这里插入图片描述

复制user_friends.csv

cd opt/flume/conf/jobkb09/
cp ./tmp/user_friends.csv /opt/flume/conf/jobkb09/dataSourceFile/userFriend/userFriend_2020-12-08.csv

在这里插入图片描述

查看消息队列中每个分区中的数量

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.247.201:9092 --topic user_friends_raw --time -1 --offsets 1

在这里插入图片描述

消费消息

kafka-console-consumer.sh --topic user_friends_raw --bootstrap-server 192.168.247.201:9092 --</
最低0.47元/天 解锁文章
屡傻不改
关注
专栏目录
kafka+flume+kafka中问题.pdf
07-12
flume从kafka读取数据，然后再sink到kafka中， 这种场景下会出现问题。 (1)现象表示为： flume从kafka读取数据,sink的sinkTopic中没有数据，也无法从sinkTopic中读取数据； (2)原因分析: 如果在一个Flume Agent中同时使用Kafka Source和Kafka Sink来处理events，便会遇到Kafka Topic覆盖问题，具体 表现为，Kafka Source可以正常从指定的Topic中读取数据，但在Kafka Sink中配置的目标Topic不起作用，数据仍然 会被写入到Source中指定的Topic中。
Ubuntu18设置开机启动脚本的两种方法
T_K_00的博客
09-24 1161
方法1 1.Ubuntu18使用systemd配置开机启动项，systemd 默认读取 /etc/systemd/system 下的配置文件，该目录下的文件会链接/lib/systemd/system/下的文件。 2.使用ls /lib/systemd/system列出启动脚本，下面使用rc.local.service这个脚本。 其完整内容为： # This file is part of systemd. # # systemd is free software; you can redistribu
黑猴子的家：Kafka Streams 案例
黑猴子的博客
10-10 397
Code -&gt; GitHub https://github.com/liufengji/kafka_api.git 1、需求分析 实时处理单词带有”&gt;&gt;&gt;”前缀的内容。例如输入”victor&gt;&gt;&gt;mayy”，最终处理成“mayy” 2、创建主类 (创建一个工程，并添加jar包) import java.util.Properties;...
大数据——Kafka Stream实时流案例和Flume搭配Kafka联用
蜂蜜柚子加苦茶
12-27 280
这里写目录标题从一个topic的数据进入另一个topic中利用实时流实现Wordcount功能 从一个topic的数据进入另一个topic中 创建maven工程 添加依赖包 dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>2.0.0</version>
Flume+Kafka数据采集与清洗
一半的博客
04-26 3798
项目说明 实现功能 模拟实时推荐系统中，数据实时采集与数据预处理，并用Kafka进行数据实时消费功能。 实现场景 用户对商品进行评分，后台实时对其进行获取与分析，并经过计算后，生成实时推荐结果。 项目架构图 主要工具说明 Flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 当前Flume
Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
03-08
本文将详细介绍如何利用Flume采集日志数据，并将其发送到Kafka中，最后将这些数据从Kafka取出并存储到HDFS上。这一流程不仅适用于大规模的日志数据采集场景，还能帮助读者快速熟悉Flume、Kafka和HDFS等大数据组件的...
Flume 抽取MYSQL Oracle数据 JSON格式 推送Kafka
05-28
Flume二次开发，支持抽取MYSQL Oracle数据库数据 以JSON格式推送至Kafka。 demo： sql_json.sources.sql_source.type = com.hbn.rdb.source.SQLSource sql_json.sources.sql_source.connectionurl = jdbc:oracle:...
kafka+flume 实时采集oracle数据到hive中.docx
08-11
基于Kafka+Flume实时采集Oracle数据到Hive中 一、Kafka获取Oracle日志实时数据 Kafka是一种分布式流媒体平台，能够实时地从Oracle数据库中提取日志信息。为了实现这一点，需要先安装ZooKeeper和Kafka，然后配置...
Kafka hdfs flume 数据采集实验
最新发布
11-17
在这个实验中，Flume 可能被配置为Kafka消费者，从Kafka中读取数据，并将其存储到HDFS中。 Hadoop Distributed File System (HDFS) 是Hadoop生态系统中的分布式文件系统。HDFS设计为跨多台机器存储大规模数据，提供...
基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码
08-01
基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码，博客链接： https://blog.csdn.net/linge1995/article/details/81326146
streaming从kafka中读数据
sunbin11220904的博客
09-09 188
package test01 import org.apache.kafka.clients.consumer.{ConsumerConfig, ConsumerRecord} import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.{InputDStream, ReceiverInputDStream} import org.apache.spark.streaming.flume.{FlumeUtils,
大数据项目实战——Flume-＞Kafka-＞SparkStreaming-＞Kafka
Clozzz的博客
08-14 412
项目基本需求： 利用Flume监控文件，将文件读取到Kafka中，再从Kafka中读入到SparkStreaming，在SparkStreaming中经过简单的处理后再写入到Kafka中。 原数据格式 数据为用户的朋友关系，一个用户对应很多个朋友，大概有几十万的数据，有需要数据的可以联系我。 Flume监控文件读入到Kafka中 a6.sources=s6 a6.channels=c6 a6.sinks=k6 a6.sources.s6.type=spooldir a6.sources.s6.spool
实战技术：Spark Streaming场景应用-Kafka数据读取方式
weixin_41663412的博客
03-14 257
个人博客导航页（点击右侧链接即可打开个人博客）：大牛带你入门技术栈 概述 Spark Streaming 支持多种实时输入源数据的读取，其中包括Kafka、flume、socket流等等。除了Kafka以外的实时输入源，由于我们的业务场景没有涉及，在此将不会讨论。本篇文章主要着眼于我们目前的业务场景，只关注Spark Streaming读取Kafka数据的方式。 Spark Stream...
搭建zookeeper+kafka+kafka manager
Ezrealmore
05-18 409
环境 zookeeper-3.4.11.tar kafka-manager-1.3.3.7 kafka_2.11-1.1.0 jdk8 ubuntu14 三台：192.168.1.48、192.168.1.49、192.168.1.50 修改hosts sudo vim /etc/hosts 改为： 192.168.1.48 server48 127.0.0.1 localhost 三台都...
大数据——从Flume传输数据到Kafka并读取
蜂蜜柚子加苦茶
12-14 1457
从Flume传输数据到Kafka并读取从Flume传输数据到Kafka并读取user_friends_rawuserseventsevent_attendees_rawtraintest 从Flume传输数据到Kafka并读取 创建八个队列信息 //users [root@hadoop100 opt]# kafka-topics.sh --zookeeper 192.168.136.100:2181 --create --topic users --partitions 1 --replication-
Flume-Kafka-SparkStreaming对接案例实操
Airy的博客
01-23 2284
1.准备工作 ①一个java程序，需要有一些操作能够打印特定log日志,并打成jar包； ②在linux服务器上安装flume、zookeeper、kafka； 2.案例思路 当我在jar包程序部署在linux服务器上时，每当我访问特定接口，就会产生特定日志文件，这时候flume监听该日志文件，然后并且对日志进行过滤，一些springboot应用启动日志需要过滤，然后对接到kafka，kafka对日志进行格式化清洗，最后对接SparkStreaming就可以进行相关业务处理了 3.案例流程图
Flume读取日志文件数据写入到Kafka
cxu123321的博客
02-20 2126
Flume读取日志文件数据写入到Kafka 原创万千归途 最后发布于2018-10-15 17:57:05 阅读数 4481 收藏 展开 只是为了实现从flume采集的数据写到kafka中所以采集的数据使用伪数据提前把数据放入到flume监听的文件夹中 前期准备：flume kafka（kafka要提前启动好） 一、为flume构建agent 先进去flume下的配文件夹里面(...
使用Flume将数据sink到kafka
weixin_42289266的博客
08-06 1837
1、编写flume配置文件 a5.channels=c5 a5.sources=s5 a5.sinks=k5 a5.sources.s5.type=spooldir a5.sources.s5.spoolDir=/opt/retail_db-csv/datas //要导入kafka的数据的路径 a5.sources.s5.interceptors=head_filter //使用拦截器将要导入数据的表头去掉 a5.sources.s5.interceptors.head_filter.type=reg
Flume采集数据到Kafka，然后从Kafka存储到HDFS的实践指南
"Flume采集数据到Kafka，然后从kafka取数据存储到HDFS的方法思路和完整步骤" 在大数据处理中，Flume、Kafka和HDFS是三个常用的技术栈，分别负责数据采集、数据传输和数据存储。下面是使用Flume采集数据到Kafka，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值