2020.12.08课堂笔记(从flume读取数据连接到Kafka中)

最新推荐文章于 2022-08-04 14:25:26 发布
最新推荐文章于 2022-08-04 14:25:26 发布
阅读量199 收藏
点赞数
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_48758256/article/details/110872959
版权

在Kafka中创建topic：

举例：

kafka-topics.sh --create --zookeeper 192.168.237.100:2181 --topic kb09demo2 --partitions 5 --replication-factor 1

要求创建下列topic：
users
user_friends_raw
user_friends
events
event_attendees_raw
event_attendees
train
test

kafka-topics.sh --delete --topic users --zookeeper 192.168.237.100:2181
kafka-topics.sh --delete --topic user_friends_raw --zookeeper 192.168.237.100:2181
kafka-topics.sh --delete --topic user_friends --zookeeper 192.168.237.100:2181
kafka-topics.sh --delete --topic events --zookeeper 192.168.237.100:2181
kafka-topics.sh --delete --topic event_attendees_raw --zookeeper 192.168.237.100:2181
kafka-topics.sh --delete --topic event_attendees --zookeeper 192.168.237.100:2181
kafka-topics.sh --delete --topic train --zookeeper 192.168.237.100:2181
kafka-topics.sh --delete --topic test --zookeeper 192.168.237.100:2181

kafka-topics.sh --create --zookeeper 192.168.237.100:2181 --topic users --partitions 1 --replication-factor 1
kafka-topics.sh --create --zookeeper 192.168.237.100:2181 --topic user_friends_raw --partitions 1 --replication-factor 1
kafka-topics.sh --create --zookeeper 192.168.237.100:2181 --topic user_friends --partitions 1 --replication-factor 1
kafka-topics.sh --create --zookeeper 192.168.237.100:2181 --topic events --partitions 1 --replication-factor 1
kafka-topics.sh --create --zookeeper 192.168.237.100:2181 --topic event_attendees_raw --partitions 1 --replication-factor 1
kafka-topics.sh --create --zookeeper 192.168.237.100:2181 --topic event_attendees --partitions 1 --replication-factor 1
kafka-topics.sh --create --zookeeper 192.168.237.100:2181 --topic train --partitions 1 --replication-factor 1
kafka-topics.sh --create --zookeeper 192.168.237.100:2181 --topic test --partitions 1 --replication-factor 1

编写agent的配置文件：

#定义三大组件的名称
userFriends.sources=userFriendsSource
userFriends.channels=userFriendsChannel
userFriends.sinks=userFriendsSink
# 配置source组件
userFriends.sources.userFriendsSource.type=spooldir
userFriends.sources.userFriendsSource.spoolDir=/opt/flume160/conf/jobkb09/dataSourceFile/userFriends
userFriends.sources.userFriendsSource.includePattern=userFriends_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv
userFriends.sources.userFriendsSource.deserializer=LINE
userFriends.sources.userFriendsSource.deserializer.maxLineLength=10000
userFriends.sources.userFriendsSource.interceptors=head_filter
userFriends.sources.userFriendsSource.interceptors.head_filter.type=regex_filter
userFriends.sources.userFriendsSource.interceptors.head_filter.regex=^user*
userFriends.sources.userFriendsSource.interceptors.head_filter.excludeEvents=true
# 配置channel组件
userFriends.channels.userFriendsChannel.type=file
userFriends.channels.userFriendsChannel.checkpointDir=/opt/flume160/conf/jobkb09/checkPointFile/userFriends
userFriends.channels.userFriendsChannel.dataDirs=/opt/flume160/conf/jobkb09/dataChannelFile/userFriends
# 配置sink组件
userFriends.sinks.userFriendSink.type=org.apache.flume.sink.kafka.KafkaSink
userFriends.sinks.userFriendsSink.batchSize=640
userFriends.sinks.userFriendsSink.brokerList=192.168.237.100:9092
userFriends.sinks.userFriendsSink.topic=user_friends_raw
# 绑定source、channel和sink之间的连接
userFriends.sources.userFriendsSource.channels=userFriendsChannel
userFriends.sinks.userFriendsSink.channel=userFriendsChannel

执行flume-ng导入到Kafka中

[root@hadoop100 flume160]# ./bin/flume-ng agent --name userFriends --conf ./conf/ --conf-file ./conf/jobkb09/tmp/userFriend-flume-Kafka.conf -Dflume.root.logger=INFO,console

使用Kafka stream处理flume导入的数据

flume导入的数据放在topic user_friends_raw中
编写Kafka stream程序将数据处理存放在user_friends中

先查看user_friends_raw中的数据：

[root@hadoop100 flume160]# kafka-console-consumer.sh --topic user_friends_raw --bootstrap-server  hadoop100:9092 --from-beginning

取出其中一条数据：

54820382,3887786716 976480913 1549373723 1266340021 2737922063 3328501661 2095013200 2218536804 2826821951 1090749315 1608429064 657947649 2299229236 2277081711 2551833867 2753318997 3255598992 2317748319 3311999073 1659964719 344171892 4257555652 2797450456 45318777 1041683181 1599555618 114577094 886302587 1538472134 3160042675 2563532717 3098505050 1786701735 2440963474 2382320222 3562047852 1689952259 3880284955 4211207471 959390435 961124340 3725363088 97398613 3333292364 2492255667 3846936613 1715899829 1383012353 1309948019 3782295401 811727857 850419243 140602867 2019669204 3716414836 1123599659 2921815 2610662061

现在希望展现形式：

54820382,3887786716
54820382,976480913
54820382,1549373723
54820382,1266340021
54820382,2737922063
54820382,3328501661
54820382,2095013200
54820382,2218536804
54820382,2826821951
54820382,1090749315
54820382,1608429064
54820382,657947649
------以下省略-------

package nj.zb.kb09.kafka;

import org.apache.kafka.common.serialization.Serdes;
import org.apache.kafka.streams.*;


import java.util.ArrayList;

import java.util.Properties;
import java.util.concurrent.CountDownLatch;

/**
 * @Author: ChaoKeAiMuZhi
 * @Date: 2020/12/16 16:24
 * @Description:
 **/
public class UserFriendStream {
    public static void main(String[] args) {
        Properties prop = new Properties();
        prop.put(StreamsConfig.APPLICATION_ID_CONFIG, "userfriend");
        prop.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.237.100:9092");
//        prop.put(StreamsConfig.COMMIT_INTERVAL_MS_CONFIG,3000);
//        prop.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG,"earliest");
//        prop.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,"false");
        prop.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass());
        prop.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass());

        StreamsBuilder builder = new StreamsBuilder();
        
        //代码逻辑部分
        builder.stream("user_friends_raw").flatMap((k, v) -> {
            ArrayList<KeyValue<String, String>> list = new ArrayList<>();
            String[] info = v.toString().split(",");
            if (info.length == 2) {
                String[] friends = info[1].split("\\s+");
                if(friends[0].trim().length()>0) {
                    for (String friend : friends) {
                        System.out.println(info[0] + "  " + friend);
                        list.add(new KeyValue<String, String>(null, info[0] + "," + friend));
                    }
                }
            }
            return list;
        }).to("user_friends");


        final Topology topo = builder.build();
        final KafkaStreams streams = new KafkaStreams(topo, prop);

        final CountDownLatch latch = new CountDownLatch(1);
        Runtime.getRuntime().addShutdownHook(new Thread("stream") {
            @Override
            public void run() {
                streams.close();
                latch.getClass();
            }
        });

        streams.start();
        try {
            latch.await();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        System.exit(0);
    }
}

案例2：

[root@hadoop100 ~]# kafka-topics.sh --delete --zookeeper 192.168.237.100:2181 --topic event_attendees
	[root@hadoop100 ~]# kafka-topics.sh --delete --zookeeper 192.168.237.100:2181 --topic event_attendees_raw
[root@hadoop100 ~]# kafka-topics.sh --list --zookeeper 192.168.237.100:2181
[root@hadoop100 flume160]# kafka-topics.sh --create  --zookeeper 192.168.237.100:2181 --topic event_attendees_raw --partitions 1 --replication-factor 1

创建flume agent的配置文件：

eventattend.sources=eventAttendSource
eventattend.channels=eventAttendChannel
eventattend.sinks=eventAttendSink

eventattend.sources.eventAttendSource.type=spooldir
eventattend.sources.eventAttendSource.spoolDir=/opt/flume160/conf/jobkb09/dataSourceFile/eventattend
eventattend.sources.eventAttendSource.includePattern=eventattend_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv
eventattend.sources.eventAttendSource.deserializer=LINE
eventattend.sources.eventAttendSource.deserializer.maxLineLength=20000
eventattend.sources.eventAttendSource.intersecptors=head_filter
eventattend.sources.eventAttendSource.intersecptors.head_filter.type=regex_filter
eventattend.sources.eventAttendSource.intersecptors.head_filter.regex=^event
eventattend.sources.eventAttendSource.intersecptors.head_filter.execludeEvents=true

eventattend.channels.eventAttendChannel.type=file
eventattend.channels.eventAttendChannel.checkpointDir=/opt/flume160/conf/jobkb09/checkPointFile/eventattend
eventattend.channels.eventAttendChannel.dataDirs=/opt/flume160/conf/jobkb09/dataChannelFile/eventattend

eventattend.sinks.eventAttendSink.type=org.apache.flume.sink.kafka.KafkaSink
eventattend.sinks.eventAttendSink.batchSize=640
eventattend.sinks.eventAttendSink.brokerList=192.168.237.100:9092
eventattend.sinks.eventAttendSink.topic=event_attendees_raw


eventattend.sources.eventAttendSource.channels=eventAttendChannel
eventattend.sinks.eventAttendSink.channel=eventAttendChannel

[root@hadoop100 jobkb09]# cp /opt/flume160/conf/jobkb09/tmp/event_attendees.csv /opt/flume160/conf/jobkb09/dataSourceFile/eventattend/eventattend_2020-11-18.csv

mkdir -p /opt/flume160/conf/jobkb09/dataSourceFile/eventattend
mkdir -p /opt/flume160/conf/jobkb09/checkPointFile/eventattend
mkdir -p /opt/flume160/conf/jobkb09/dataChannelFile/eventattend

	[root@hadoop100 flume160]# ./bin/flume-ng agent -n eventattend -c ./conf/  -f ./conf/jobkb09/eventsattend-flume-kafka.conf -Dflume.root.logger=INFO,console

[root@hadoop100 tmp]# kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic event_attendees_raw --from-beginning

[root@hadoop100 tmp]# wc -l event_attendees.csv
24145 event_attendees.csv

使用Kafka stream处理数据：

package nj.zb.kb09.kafka;

import org.apache.kafka.common.serialization.Serdes;
import org.apache.kafka.streams.*;
import org.apache.kafka.streams.kstream.KStream;

import java.util.ArrayList;
import java.util.Properties;
import java.util.concurrent.CountDownLatch;

/**
 * @Author: ChaoKeAiMuZhi
 * @Date: 2020/12/18 14:56
 * @Description:
 **/
public class EventAttendStream2 {
    public static void main(String[] args) {
        Properties prop = new Properties();
        prop.put(StreamsConfig.APPLICATION_ID_CONFIG,"eventattendstream2");
        prop.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG,"192.168.237.100:9092");
        prop.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass());
        prop.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG,Serdes.String().getClass());

        // 创建流构造器
        StreamsBuilder builder = new StreamsBuilder();

        KStream<Object, Object> ear = builder.stream("event_attendees_raw");

        KStream<String, String> eventKStream = ear.flatMap((k, v) -> {    // event,yes,maybe,invite,no
            System.out.println(v.toString());
            String[] split = v.toString().split(",");
            ArrayList<KeyValue<String, String>> list = new ArrayList<>();
            if (split.length >= 2 && split[1].trim().length() > 0) {
                System.out.println(split);
                String[] yes = split[1].split("\\s+");
                for (String y : yes) {
                    list.add(new KeyValue<String, String>(null, split[0] + "," + y + ",yes"));
                }
            }
            if (split.length >= 3 && split[2].trim().length() > 0) {
                String[] maybe = split[2].split("\\s+");
                for (String m : maybe) {
                    list.add(new KeyValue<String, String>(null, split[0] + "," + m + ",maybe"));
                }
            }
            if (split.length >= 4 && split[3].trim().length() > 0) {
                String[] invite = split[3].split("\\s+");
                for (String i : invite) {
                    list.add(new KeyValue<String, String>(null, split[0] + "," + i + ",invite"));
                }
            }
            if (split.length >= 5 && split[4].trim().length() > 0) {
                String[] no = split[4].split("\\s+");
                for (String n : no) {
                    list.add(new KeyValue<String, String>(null, split[0] + "," + n + ",no"));
                }
            }
            return list;
        });

        eventKStream.to("event_attendees");


        final Topology topo = builder.build();
        final KafkaStreams streams = new KafkaStreams(topo, prop);

        final CountDownLatch latch = new CountDownLatch(1);
        Runtime.getRuntime().addShutdownHook(new Thread("stream") {
            @Override
            public void run() {
                streams.close();
                latch.getClass();
            }
        });

        streams.start();
        try {
            latch.await();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }

        System.exit(0);

    }
}

使用Kafka消费者消费数据：

[root@hadoop100 eventattend]# kafka-topics.sh --create  --zookeeper 192.168.237.100:2181 --topic event_attendees --partitions 1 --replication-factor 1
[root@hadoop100 eventattend]# kafka-console-consumer.sh --bootstrap-server 192.168.237.100:9092 --topic event_attendees  --from-beginning
超可爱慕之
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flume 读文件spooldir 写入kafka
hello_java_lcl的博客
06-16 343
flume配置文件 #source: sdir sink: skafka channel: d2k agent1.sources = sdir agent1.sinks = skafka agent1.channels = d2k #d2k skafka agent1.sinks.skafka.channel = d2k #sdir d2k agent1.sources.sdir.channels = d2k ...
Flume读取文件传输到Kafka全流程
贾宝的博客
11-30 7290
前期工作 先部署Kafka集群和Flume。 Flume在解压后只需要在flume-env.sh中修改jdk路径就行了。 而Kafka集群相比较下就有点复杂了，步骤如下： 解压kafka的压缩包。 vi /config/server.properties,在其中进行下面4，5，6步 broker.id=0 ，这个是每台机器的标识，不可重复。 delete.topic.enable=true，这...
flume监控采集数据导入到kafka中topic进行消费
Mr_Bright的博客
12-08 2174
flume监控采集到的数据到kafka中topic进行消费1.创建kafka的topic2.创建并编辑flume脚本3.执行flume脚本4.复制数据到被flume监控的路径5.查看队列分区信息5.1查看队列信息数6.消费消息7.删除topic 1.创建kafka的topic kafka-topics.sh --create --zookeeper 192.168.116.60:2181 --topic user_friends_raw --partitions 1 --replication-facto
flume采集使用tail -F比spooldir更好的分析
zzd007的博客
07-22 4650
# Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 #exec 指的是命令 # Describe/configure the source a1.sources.r1.type = exec#F根据文件名进行追踪，并保持重试，即该文件被删除或改名后，如果再次创建相同的文件名，会继续追...
flume Source志SpoolDir
chbxw
03-07 7673
二、flume监控某个目录，将数据发送kafka 2.1、flume source 使用SpoolDir 监控一个目录下的文件内容 SpoolDir监控目录下文件， 处理后的文件修改文件名 问题1： 如果上传来的文件,还没有上传完，spoolDir扫描到改文件，将会报错 所以此处我将监控前一个小时目录， #!/bin/bash #date -d "-10 min" +%...
kafka+flume 实时采集oracle数据到hive中.docx
08-11
Flume是一个分布式、可靠、高吞吐量的日志收集系统，能够实时地从Kafka中提取数据，并将其写入到HDFS中。为了实现这一点，需要先安装Flume，版本号为flume-1.9.0-bin.tar.gz。然后，需要配置Flume的配置文件flume....
flume+kafka+flink+mysql数据统计
04-20
接着，Kafka 是一个高吞吐量的分布式消息队列系统，它在 Flume 收集到数据后，作为一个中间层存储平台，能够缓存大量数据并确保数据的可靠传输。Kafka 的主题和分区机制保证了数据的有序性和容错性，使得即使在高...
天气爬虫采集，kafka实时分发，flume 收集数据导入到 Hbase.zip
最新发布
01-04
在这里，Flume作为Kafka的消费者，订阅相关主题，从Kafka中消费天气数据，然后将这些数据导入到大数据存储系统，如HBase。 最后，数据被导入到"HBase"。HBase是一个基于Hadoop的非关系型分布式数据库（NoSQL），...
flume消费kafka数据上传hdfs.doc
05-09
Flume 是一个分布式、可靠、可扩展的数据收集系统，主要用于从各种来源（例如日志文件、网络等）中实时收集数据，并将其传输到目标系统（例如 HDFS、Hive 等）中。本文档将详细介绍 Flume 消费 Kafka 数据上传 HDFS ...
Flume:SpoolDir实战
857技术社区
05-21 1039
#source的名字 agent.sources = s1 # channels的名字 agent.channels = c1 # sink的名字 # 指定source使用的channel agent.sources.s1.channels = c1 # 指定sink使用的channel # source的名字 agent.sources = s1 # channels的名字 agent.channels = c1 # sink的名字 agent.sinks = r1 # 指定source使用的chan.
windows系统flume数据传给kafka
m0_37847641的博客
07-18 1230
1、安装zookeeper 更改flume配置为kafka # Describe the sink # a1.sinks.k1.type = logger  # 指定Flume sink a1.sinks.k1.channel = c1 a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topi...
flume读取文件到kafka
欢迎大神交流讨论
11-10 1796
1.进入flume官网 www.org.apache.flume.com 点击第三个 2.使用kafka前需要先开启zookeeper 3.编写配置文件 读文件首先最好去头 写好配置文件 user.channels = c1 user.sources = s1 user.sinks = k1 user.sources.s1.type = spooldir user.sources.s1.spoolDir = /opt/mydate/users/ user.sources.s1....
Flume监听端口并存入Kafka
weixin_53299145的博客
11-22 2134
第一步：编写flume的配置文件ListenPort.conf 文件 用来监听本地的55555端口，并将数据存入kafka中 # Name the components on this agent # 分别给agent中组件定义别名 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source # 配置接收方法、地址和端口号 a1.sources.r1.type = netcat a1.sources.r1.
利用flume把文件传到kafka的topic中
dontlikerabbit的博客
03-30 1386
数据准备 把需要传输的文件event_attendees.csv放到新建的文件下，我的路径是/root/data/event_attendees 开启服务 zkServer.sh start kafka-server-start.sh /opt/soft/kafka211/config/server.properties flume准备工作： 在root下新建文件夹flume和flumeconf,flume下新建文件夹checkpoint和data，flumeconf下新建配置文件event_attend
flume采集mysql日志数据发送到kafka
qq_35515283的博客
08-04 1432
我这里需要采集mysql的日志如二进制日志、通用查询日志、慢查询日志、错误日志等，使用flume能很方便的将其采集到kafka的topic中，而且能解决其中有些日志充斥大量换行等符号所导致的清洗难题。通过自定义select查询语句去为mysql日志进行结构化改造，相对网上别的办法这样做比较便捷。我这里想要采集mysql日志所以需要第一步，若只是想采集mysql数据库表，就直接从第二步开始配就行了，首先mysql、flume、kafka安装我就略过了。...
flume和kafka整合——采集实时日志落地到hdfs
qq_36470898的博客
10-25 1857
flume和kafka整合——采集实时日志落地到hdfs一、采用架构二、 前期准备2.1 虚拟机配置2.2 启动hadoop集群2.3 启动zookeeper集群，kafka集群三、编写配置文件3.1 slave1创建flume-kafka.conf3.2 slave3 创建kafka-flume.conf3.3 创建kafka的topic3.4 启动flume配置测试 一、采用架构 flume 采用架构 exec-source + memory-channel + kafka-sink kafka-so
flume采集日志数据到kafka
weixin_43163836的博客
06-09 2647
1.在flume安装目录下的文件夹里面编写agent的配置文件，起名为flumekafka。 2.在flumekafka文件夹下面建立flume1kafka.conf配置文件： # 定义这个agent中各组件的名字 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 描述和配置source组件：r1 a1.sources.r1.type = exec a1.sources.r1.command = tail -F /root/logs/test.log
Flume采集数据到Kafka，然后从Kafka存储到HDFS的实践指南
"Flume采集数据到Kafka，然后从kafka取数据存储到HDFS的方法思路和完整步骤" 在大数据处理中，Flume、Kafka和HDFS是三个常用的技术栈，分别负责数据采集、数据传输和数据存储。下面是使用Flume采集数据到Kafka，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值