基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(二)数据源

已于 2023-10-19 15:37:32 修改
阅读量1.7k 收藏 22
点赞数 3
分类专栏： # Flink 文章标签： flume kafka hbase
于 2023-10-13 15:26:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xianyu120/article/details/133811713
版权

文章目录

04：数据源

  • 目标：了解数据源的格式及实现模拟数据的生成

  • 路径

    • step1：数据格式
    • step2：数据生成

  • 实施

    • 数据格式

      image-20210905200540304

      消息时间发件人昵称发件人账号发件人性别发件人IP发件人系统发件人手机型号发件人网络制式发件人GPS收件人昵称收件人IP收件人账号收件人系统收件人手机型号收件人网络制式收件人GPS收件人性别消息类型双方距离消息
      msg_timesender_nickynamesender_accountsender_sexsender_ipsender_ossender_phone_typesender_networksender_gpsreceiver_nickynamereceiver_ipreceiver_accountreceiver_osreceiver_phone_typereceiver_networkreceiver_gpsreceiver_sexmsg_typedistancemessage
      2020/05/08 15:11:33古博易14747877194男48.147.134.255Android 8.0小米 Redmi K304G94.704577,36.247553莱优97.61.25.5217832829395IOS 10.0Apple iPhone 104G84.034145,41.423804女TEXT77.82KM天涯海角惆怅渡，牛郎织女隔天河。佛祖座前长顿首，只求共度一百年。

    • 数据生成

      • 创建原始文件目录

        mkdir /export/data/momo_init

      • 上传模拟数据程序

        cd /export/data/momo_init
rz

        image-20210905142015948

      • 创建模拟数据目录

        mkdir /export/data/momo_data

      • 运行程序生成数据

        • 语法

          java -jar /export/data/momo_init/MoMo_DataGen.jar 原始数据路径 模拟数据路径 随机产生数据间隔ms时间

        • 测试：每500ms生成一条数据

          java -jar /export/data/momo_init/MoMo_DataGen.jar \
/export/data/momo_init/MoMo_Data.xlsx \
/export/data/momo_data/ \
500

        • 结果：生成模拟数据文件MOMO_DATA.dat，并且每条数据中字段分隔符为\001

        image-20210929100901349

  • 小结

    • 了解数据源的格式及实现模拟数据的生成

05：技术架构及技术选型

  • 目标：掌握实时案例的技术架构及技术选型

  • 路径

    • step1：需求分析
    • step2：技术选型
    • step3：技术架构

  • 实施

    • 需求分析

      • 离线存储计算
        • 提供离线T + 1的统计分析
        • 提供离线数据的即时查询
      • 实时存储计算
        • 提供实时统计分析

    • 技术选型

      • 离线
        • 数据采集：Flume
        • 离线存储：Hbase
        • 离线分析：Hive：复杂计算
        • 即时查询：Phoenix：高效查询
      • 实时
        • 数据采集：Flume
        • 实时存储：Kafka
        • 实时计算：Flink
        • 实时应用：MySQL + FineBI 或者 Redis + JavaWeb可视化

    • 技术架构

      image-20210905162218286

      • 为什么不直接将Flume的数据给Hbase，而统一的给了Kafka，再由Kafka到Hbase？
        • 避免高并发写导致机器负载过高、实现架构解耦、实现异步高效
        • 保证数据一致性

  • 小结

    • 掌握实时案例的技术架构及技术选型

06：Flume的回顾及安装

  • 目标：回顾Flume基本使用及实现Flume的安装测试

  • 路径

    • step1：Flume回顾
    • step2：Flume的安装
    • step3：Flume的测试

  • 实施

    • Flume的回顾

      • 功能：实时对文件或者网络端口进行数据流监听采集
      • 场景：文件实时采集
      • 开发
        • step1：先开发一个配置文件：properties【K=V】
        • step2：运行这个文件即可
      • 组成
        • Agent：一个Agent就是一个Flume程序
        • Source：负责监听数据源，将数据源的动态数据变成每一条Event数据，将Event数据流放入Channel
        • Channel：负责临时存储Source发送过来的数据，供Sink来取数据
        • Sink：负责从Channel拉取数据写入目标地
        • Event：代表一条数据对象
          • head：Map集合[KV]
          • body：byte[]

    • Flume的安装

      • 上传安装包

        cd /export/software/
rz

        image-20210905162948401

      • 解压安装

        tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /export/server/
cd /export/server
mv apache-flume-1.9.0-bin flume-1.9.0-bin

      • 修改配置

        #集成HDFS，拷贝HDFS配置文件
cd /export/server/flume-1.9.0-bin
cp /export/server/hadoop/etc/hadoop/core-site.xml  ./conf/
#修改Flume环境变量
cd /export/server/flume-1.9.0-bin/conf/
mv flume-env.sh.template flume-env.sh
vim flume-env.sh 

        #修改22行
export JAVA_HOME=/export/server/jdk1.8.0_65
#修改34行
export HADOOP_HOME=/export/server/hadoop-3.3.0

      • 删除Flume自带的guava包，替换成Hadoop的

        cd /export/server/flume-1.9.0-bin 
rm -rf lib/guava-11.0.2.jar
cp /export/server/hadoop/share/hadoop/common/lib/guava-27.0-jre.jar lib/

      • 创建目录

        cd /export/server/flume-1.9.0-bin
#程序配置文件存储目录
mkdir usercase
#Taildir元数据存储目录
mkdir position

    • Flume的测试

      • 需求：采集聊天数据，写入HDFS

      • 分析

        • Source：taildir：动态监听多个文件实现实时数据采集
        • Channel：mem：将数据缓存在内存
        • Sink：hdfs

      • 开发

        vim /export/server/flume-1.9.0-bin/usercase/momo_mem_hdfs.properties

        # define a1
a1.sources = s1 
a1.channels = c1
a1.sinks = k1

#define s1
a1.sources.s1.type = TAILDIR
#指定一个元数据记录文件
a1.sources.s1.positionFile = /export/server/flume-1.9.0-bin/position/taildir_momo_hdfs.json
#将所有需要监控的数据源变成一个组
a1.sources.s1.filegroups = f1
#指定了f1是谁：监控目录下所有文件
a1.sources.s1.filegroups.f1 = /export/data/momo_data/.*
#指定f1采集到的数据的header中包含一个KV对
a1.sources.s1.headers.f1.type = momo
a1.sources.s1.fileHeader = true

#define c1
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 1000

#define k1
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/momo/test/daystr=%Y-%m-%d
a1.sinks.k1.hdfs.fileType = DataStream
#指定按照时间生成文件，一般关闭
a1.sinks.k1.hdfs.rollInterval = 0
#指定文件大小生成文件，一般120 ~ 125M对应的字节数
a1.sinks.k1.hdfs.rollSize = 102400
#指定event个数生成文件，一般关闭
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.filePrefix = momo
a1.sinks.k1.hdfs.fileSuffix = .log
a1.sinks.k1.hdfs.useLocalTimeStamp = true

#bound
a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

      • 启动HDFS

        start-dfs.sh

      • 运行Flume

        cd /export/server/flume-1.9.0-bin
bin/flume-ng agent -c conf/ -n a1 -f usercase/momo_mem_hdfs.properties -Dflume.root.logger=INFO,console

      • 运行模拟数据

        java -jar /export/data/momo_init/MoMo_DataGen.jar \
/export/data/momo_init/MoMo_Data.xlsx \
/export/data/momo_data/ \
100

      • 查看结果

        image-20210905171157230

  • 小结

    • 回顾Flume基本使用及实现Flume的安装测试

07：Flume采集程序开发

  • 目标：实现案例Flume采集程序的开发

  • 路径

    • step1：需求分析
    • step2：程序开发
    • step3：测试实现

  • 实施

    • 需求分析

      • 需求：采集聊天数据，实时写入Kafka

      • Source：taildir

      • Channel：mem

      • Sink：Kafka sink

        a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.bootstrap.servers = node1:9092,node2:9092,node3:9092
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.topic = mytopic
a1.sinks.k1.kafka.flumeBatchSize = 20
a1.sinks.k1.kafka.producer.linger.ms = 1
a1.sinks.k1.kafka.producer.compression.type = snappy

    • 程序开发

      vim /export/server/flume-1.9.0-bin/usercase/momo_mem_kafka.properties

      # define a1
a1.sources = s1 
a1.channels = c1
a1.sinks = k1

#define s1
a1.sources.s1.type = TAILDIR
#指定一个元数据记录文件
a1.sources.s1.positionFile = /export/server/flume-1.9.0-bin/position/taildir_momo_kafka.json
#将所有需要监控的数据源变成一个组
a1.sources.s1.filegroups = f1
#指定了f1是谁：监控目录下所有文件
a1.sources.s1.filegroups.f1 = /export/data/momo_data/.*
#指定f1采集到的数据的header中包含一个KV对
a1.sources.s1.headers.f1.type = momo
a1.sources.s1.fileHeader = true

#define c1
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 1000

#define k1
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = MOMO_MSG
a1.sinks.k1.kafka.bootstrap.servers = node1:9092,node2:9092,node3:9092
a1.sinks.k1.kafka.flumeBatchSize = 10
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.linger.ms = 100

#bound
a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

    • 测试实现

      • 启动Kafka

        start-zk-all.sh
start-kafka.sh

      • 创建Topic

        kafka-topics.sh --create --topic MOMO_MSG  --partitions 3 --replication-factor 2 --bootstrap-server node1:9092,node2:9092,node3:9092

        注意：Kafka2.11版本用–zookeeper 替代
        kafka-topics.sh --create --topic MOMO_MSG --partitions 3 --replication-factor 2 --zookeeper node01:9092

      • 列举

        kafka-topics.sh --list --bootstrap-server node1:9092,node2:9092,node3:9092

      • 启动消费者

        kafka-console-consumer.sh --topic MOMO_MSG --bootstrap-server node1:9092,node2:9092,node3:9092

      • 启动Flume程序

        cd /export/server/flume-1.9.0-bin
bin/flume-ng agent -c conf/ -n a1 -f usercase/momo_mem_kafka.properties -Dflume.root.logger=INFO,console

      • 启动模拟数据

        java -jar /export/data/momo_init/MoMo_DataGen.jar \
/export/data/momo_init/MoMo_Data.xlsx \
/export/data/momo_data/ \
50

      • 观察结果
        在这里插入图片描述

  • 小结

    • 实现案例Flume采集程序的开发
AI+Maynor
关注
  • 3
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
SparkStreaming：Spark Streaming + Flume + Kafka + HBase + Hadoop + Zookeeper实现实时日志分析统计； SpringBoot + Echarts实现数据可视化展示
02-05
生成的数据主要是模拟某学习网站学习视频课程的访问量（其中*以“ / class”开头的表示实战课程，然后通过流水线Flume + Kafka + SparkStreaming进行实时日志的收集，HBase来存储数据）*注意事项（使用的软件工具及...
徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari
01-26
徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(四)实时计算需求及技术方案
Maynor996的博客
10-19 674
目标了解Flink的功能、特点及应用场景路径step1：功能step2：特点step3：应用实施功能：可以基于任何普通的集群平台，对有界的数据流或者无界的数据流实现高性能的有状态的分布式实时计算Flink DataSet：对有界数据进行批处理操作Flink DataStream：对无界数据进行实时处理操作Flink Table：基于DSL实现结构化数据处理Flink SQL：基于SQL实现结构化数据处理Flink Gelly：Flink的图计算库。
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(三)离线分析
Maynor996的博客
10-13 933
查询需求：根据发件人id + 收件人id + 消息日期 查询聊天记录。Qualifier：与数据中字段名保持一致。设计规则：业务、唯一、长度、散列、启动Hive和yarn。
使用Flink1.14.3与Kafka、Fine BI练习搜狗日志实时BI小项目
云来山更佳，云去山如画
04-14 4162
使用Flink1.14.3与Kafka、Fine BI练习搜狗日志实时BI小项目
【Flink实时数仓】需求二：用户事件信息宽表的构建 Kafka Hbase Flink
qq_31412425的博客
07-23 656
实时中的宽表其实是在退维，退维是数据处理中的一种操作，它是将细粒度的数据合并、归并为粗粒度数据的过程。在数据处理的过程中，原始数据往往包含大量的细节和细粒度信息，而有时候我们需要将这些细粒度数据转化为更高层次、更普遍的概要信息，以支持更广泛的数据分析和业务需求，这个过程就是退维。总之，退维是数据处理中的重要环节，它帮助我们从复杂的细粒度数据中提取出有用的信息，简化数据分析过程，同时还有助于节约存储空间和提高数据处理效率。通过退维，我们可以更好地理解数据，发现数据的规律和趋势，并支持更广泛的业务应用和决策。
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(五)FineBI可视化
最新发布
Maynor996的博客
10-19 2212
将创建好的refresh.js文件放至 FineBI 安装目录%FineBI%/webapps/webroot中。官方文档：https://help.fanruan.com/finebi/doc-view-363.html。：将jar包放入FineBI安装目录的 webapps\webroot\WEB-INF\lib目录下。参考《FineBI Windows版本安装手册.docx》安装FineBI。启动Flink程序：运行MoMoFlinkCount。修改jar包，添加js。清空MySQL结果表。
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(一)案例需求
Maynor996的博客
10-13 1291
Hbase如何解决非索引查询速度慢的问题？原因：Hbase以Rowkey作为唯一索引现象：只要查询条件不是Rowkey前缀，不走索引解决：构建二级索引思想：自己建rowkey索引表，通过走两次索引来代替全表扫描步骤问题：不同查询条件需要不同索引表，维护原表数据与索引数据同步问题解决方案一：手动管理：自己建表、自己写入数据【原表、索引表】方案二：自己开发协处理器：协处理器的开发成本非常高方案三：第三方工具：PhoenixPhoenix支持哪几种索引，各自的区别和实现原理是什么？
Flume + Kafka + Flink 简单例子
GX_0824的博客
10-03 1137
Kafka作为Flume 的 Channel,将数据保存到topic中，Flink作为Kafka的消费者，消费topic中的数据，实现实时数据的分析。定时向文件中插入数据（模拟日志文件的生成，向指定文件中插入当前时间戳）Kafka作为Flume的Channels。
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt
10-13
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt基于Flume+Kafka+Hbase+Flink+FineBI的实时综合...
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
1、内容概要：Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南（详细搭建步骤+实践过程问题总结）。 2、适合人群：大数据运维、大数据相关技术及组件初学者。 3、...
Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala
05-05
基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 DML 操作 数据查询详解 三、Spark ...
2021年最新最全Flink系列教程_Flink快速入门(概述,安装部署)(一)(JianYi收藏)
Maynor996的博客
06-21 4314
Flink的发展史 2009年柏林工业大学一个研究项目 2014年被贡献给 apache 成为顶级项目
大数据Flink面试考题___Flink高频考点,万字超全整理(建议)
Maynor996的博客
06-23 4159
引言 大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。 下面为模拟面试,假如面试官考你Flink相关,你该如何回答呢? 1.简单介绍一下 Flink Flink 核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数 据通信以及容错机制等功能。 基于流执行引擎，Flink 提供了诸多更高抽象层的 API 以便用户编 写分布式任务：DataSet API， 对静态数据进行批处理操作，将静态数
2022年Flink面试题整理
Maynor996的博客
03-18 1906
文章目录1 简单介绍一下 Flink2 Flink跟Spark Streaming的区别3 Flink集群有哪些角色？各自有什么作用？4 公司怎么提交的实时任务，有多少Job Manager？5 Flink的并行度了解吗？Flink的并行度设置是怎样的？6 Flink的Checkpoint 存在哪里7 Flink的三种时间语义8 说说Flink中的窗口9 Exactly-Once的保证10 说一下Flink状态机制11 Flink 中的Watermark机制12 Flink分布式快照的原理是什么13 介绍一
Flink史上最简单双十一实时分析案例
Maynor996的博客
06-25 1572
文章目录引言总结 引言 大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。 上期带大家用StructredStreaming做了双十一实时报表分析,没看过的朋友可以看看,这是链接: StructredStreaming+Kafka+Mysql(Spark实时计算| 天猫双十一实时报表分析) 这次导师布置了一个最新任务:需求不变,用Flink完成, 阿这 我是菜鸡,刚学Flink,不懂阿~ 没办法,只能硬着头皮
Flink应用案例统计实现TopN的两种方式
Maynor996的博客
06-28 1543
窗口的计算处理，在实际应用中非常常见。对于一些比较复杂的需求，如果增量聚合函数无法满足，我们就需要考虑使用窗口处理函数这样的“大招”了。 网站中一个非常经典的例子，就是实时统计一段时间内的热门 url。...
学了1年大数据,来测测你大数据技术掌握程度?大数据综合复习之面试题15问（思维导图+问答库)
Maynor996的博客
07-09 1506
前言 大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。 时隔一年,终于把主流的大数据组件全部学完了,学成之时,便是出师之日, 那为师便来考考你学的如何: 问题1：Rowkey如何设计，设计规则是什么？ 业务原则：贴合业务，保证前缀是最常用的查询字段 唯一原则：每条rowkey唯一表示一条数据 组合原则：常用的查询条件组合作为Rowkey 散列原则：rowkey构建不能连续 长度原则：满足业务需求越短越好 .
hadoop+spark+hive+hbase+oozie+kafka+flume+flink+es+redash等详细安装部署
05-12
Hadoop是一个开源的分布式计算框架，可用于处理大数据集并提供高可靠性，高可用性和高性能。要进行详细的安装部署，需要运行以下步骤： 1. 安装Java：Hadoop基于Java编写，因此需要安装适当的Java版本。 2. 安装...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI+Maynor

觉得有用，要个免费的三连可有？

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值