flume day02 (案例)

已于 2022-12-14 10:56:51 修改
阅读量140 收藏
点赞数
文章标签： flume 大数据
于 2022-12-13 22:05:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_53822083/article/details/128297386
版权

  • 目录

    1.hive目录名的修改

    修改流程

    2.数据延迟

    3.案例  log日志数据 flume 写入hive table 

    1.普通表

    1.创建数据

    2.agent

    3.启动flume

    2.分区表

    1.创建分区表

    2. 在hive上将deptno=10分区上传到hdfs

    3.在hive中删除 deptno=10分区

    4. agent

    5.启动flume

    6. 解决hive上无结果问题

    4.avro

    案例   读取1111端口数据 数据发送到2222端口 最终2222端口 把数据写入hdfs

    1. 两个agent

    2.启动flume （三个）

    5.压缩存储 bzip2

  • 1.hive目录名的修改

    • 未指定前的目录名

      指定后的目录名

        
      event：一条数据
	headers：描述信息
	body：存的是实实在在的数据

    • 修改流程

      • 1. 添加数据 （source.log）
            路径：/home/hadoop/tmp 
        for x in {1..100}
do 
  echo "dl2262,${x}" >> /home/hadoop/tmp/source.log
  sleep 0.1s
done
      • 2.agent
         配置 taildir-mem-hdfs-round2.conf文件
         路径：/home/hadoop/project/flume
         [hadoop@bigdata13 flume]$ vim taildir-mem-hdfs-round2.conf 
        a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1=/home/hadoop/tmp/source.log/

a1.channels.c1.type = memory

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://bigdata13:9000/flume/log/%Y-%m-%d/
a1.sinks.k1.hdfs.fileType=DataStream
a1.sinks.k1.hdfs.writeFormat=Text
#文件前后缀
a1.sinks.k1.hdfs.filePrefix=events
a1.sinks.k1.hdfs.fileSuffix=.log
a1.sinks.k1.hdfs.useLocalTimeStamp=true

#文件滚动
a1.sinks.k1.hdfs.rollInterval=60
a1.sinks.k1.hdfs.rollSize=134217728
a1.sinks.k1.hdfs.rollCount=500

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

           a1.sinks.k1.hdfs.useLocalTimeStamp=true
           指定数据落盘 依照的时间是本地机器的时间 而不是 数据本身的时间

      • 3.启动flume
           路径：/home/hadoop/app/flume/conf 
        flume-ng agent \
--name a1 \
--conf ${FLUME_HOME}/conf \
--conf-file /home/hadoop/project/flume/taildir-mem-hdfs-round2.conf \
-Dflume.root.logger=info,console

         

  • 2.数据延迟

    • 定义：先产生的数据后到，后产生的数据先到
    • 解决
      • log采集数据 => hive
        • 1. udf函数  ：正确的数据重新落盘到正确的分区【数据清洗】
        • 2. flume 源头解决 （log => flume => hive => hdfs） 
          • 指定数据落盘 ： 依照的时间是本地机器的时间 而不是数据本身的时间
          • event =>  hdfs 分区下面
            • 1. useLocalTimeStamp 解决不了数据延迟
            • 2. header 添加数据本身的时间 ： 保证正确数据落盘到正确分区
                  二次开发 flume

  • 3.案例  log日志数据 flume 写入hive table 

    • log日志数据 flume 写入hive table
      　　　　emp.txt
      　　　　agent：
      　　　　　　　　source : taildir
      　　　　　　　　channel :mem
      　　　　　　　　sink:
      　　　　　　　　　　HDFS Sink
      　　　　　　　　　　Hive Sink => 没有用过 测试过 一堆坑 

    • 1.普通表

      • 1.创建数据

        • 1.路径：/home/hadoop/tmp/emp.txt 
          insert into emp values (7369, 'SMITH', 'CLERK', 7902, '1980-12-17', 800, null, 20);
insert into emp values (7499, 'ALLEN', 'SALESMAN', 7698, '1981-02-20', 1600, 300, 30);
insert into emp values (7521, 'WARD', 'SALESMAN', 7698, '1981-02-22', 1250, 500, 30);
insert into emp values (7566, 'JONES', 'MANAGER', 7839, '1981-04-02', 2975, null, 20);
insert into emp values (7654, 'MARTIN', 'SALESMAN', 7698, '1981-09-28', 1250, 1400, 30);
insert into emp values (7698, 'BLAKE', 'MANAGER', 7839, '1981-05-01', 2850, null, 30);
insert into emp values (7782, 'CLARK', 'MANAGER', 7839, '1981-06-09', 2450, null, 10);
insert into emp values (7788, 'SCOTT', 'ANALYST', 7566, '1982-12-09', 3000, null, 20);
insert into emp values (7839, 'KING', 'PRESIDENT', null, '1981-11-17', 5000, null, 10);
insert into emp values (7844, 'TURNER', 'SALESMAN', 7698, '1981-09-08', 1500, 0, 30);
insert into emp values (7876, 'ADAMS', 'CLERK', 7788, '1983-01-12', 1100, null, 20);
insert into emp values (7900, 'JAMES', 'CLERK', 7698, '1981-12-03', 950, null, 30);
insert into emp values (7902, 'FORD', 'ANALYST', 7566, '1981-12-03', 3000, null, 20);
insert into emp values (7934, 'MILLER', 'CLERK', 7782, '1982-01-23', 1300, null, 10);
        • 2.hive上的表 
          CREATE TABLE emp (
  empno decimal(4,0) ,
  ename string ,
  job string ,
  mgr decimal(4,0) ,
  hiredate string ,
  sal decimal(7,2) ,
  comm decimal(7,2) ,
  deptno decimal(2,0) 
) 
row format  delimited fields terminated by ','
stored as textfile;

             空表 无内容
             hdfs上呈现内容

      • 2.agent

      •    配置taildir-men-hdfs-emp.conf文件
           路径：/home/hadoop/project/flume/hive
           [hadoop@bigdata13 hive]$ vim taildir-men-hdfs-emp.conf

        agent:
a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1=/home/hadoop/tmp/emp.txt

a1.channels.c1.type = memory

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://bigdata13:9000/user/hive/warehouse/bigdata_flume.db/emp
a1.sinks.k1.hdfs.fileType=DataStream
a1.sinks.k1.hdfs.writeFormat=Text
#文件前后缀
a1.sinks.k1.hdfs.filePrefix=events
a1.sinks.k1.hdfs.fileSuffix=.log

#文件滚动
a1.sinks.k1.hdfs.rollInterval=60
a1.sinks.k1.hdfs.rollSize=134217728
a1.sinks.k1.hdfs.rollCount=100

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

      • 3.启动flume
         

      • 路径：/home/hadoop/app/flume/conf 
        flume-ng agent \
--name a1 \
--conf ${FLUME_HOME}/conf \
--conf-file /home/hadoop/project/flume/hive/taildir-men-hdfs-emp.conf \
-Dflume.root.logger=info,console

          hdfs呈现内容

          hive插入数据

    • 2.分区表

      • 1.创建分区表

        • 1.创建表 
          CREATE  TABLE emp_p (
  empno decimal(4,0) ,
  ename string ,
  job string ,
  mgr decimal(4,0) ,
  hiredate string ,
  sal decimal(7,2) ,
  comm decimal(7,2)
) 
PARTITIONED BY (deptno decimal(2,0))
row format  delimited fields terminated by ','
stored as textfile;
        • 2.插入数据 
          set hive.exec.dynamic.partition.mode=nonstrict;
insert overwrite table emp_p partition(deptno)
select
empno,
ename,
job  ,
mgr  ,
hiredate,
sal  ,
comm ,
deptno
from emp;
        • 3.查看分区表
          hive (bigdata_flume)> show partitions emp_p;


          hdfs呈现

      • 2. 在hive上将deptno=10分区上传到hdfs

      • [hadoop@bigdata13 tmp]$ hadoop fs -get /user/hive/warehouse/bigdata_flume.db/emp_p/deptno=10/*

      • 3.在hive中删除 deptno=10分区

      • hive (bigdata_flume)> alter table emp_p drop partition(deptno=10);
           查看分区：show partitions emp_p;

         

      • 4. agent

      •    配置 taildir-men-hdfs-emp.conf文件
           路径：/home/hadoop/project/flume/hive
           [hadoop@bigdata13 hive]$ vim taildir-men-hdfs-emp.conf

        a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1=/home/hadoop/tmp/000000_0

a1.channels.c1.type = memory

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://bigdata13:9000/user/hive/warehouse/bigdata_flume.db/emp_p/deptno=10
a1.sinks.k1.hdfs.fileType=DataStream
a1.sinks.k1.hdfs.writeFormat=Text
#文件前后缀
a1.sinks.k1.hdfs.filePrefix=events
a1.sinks.k1.hdfs.fileSuffix=.log

#文件滚动
a1.sinks.k1.hdfs.rollInterval=60
a1.sinks.k1.hdfs.rollSize=134217728
a1.sinks.k1.hdfs.rollCount=100

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

      • 5.启动flume

      •    路径：/home/hadoop/app/flume/conf

        flume-ng agent \
--name a1 \
--conf ${FLUME_HOME}/conf \
--conf-file /home/hadoop/project/flume/hive/taildir-men-hdfs-emp_p.conf \
-Dflume.root.logger=info,console

          启动后hdfs有结果而hive上无结果

         

      • 6. 解决hive上无结果问题

      •    手动添加分区：hive (bigdata_flume)> alter table emp_p add partition(deptno=10);

  • 4.avro

    • 定义：第一个agent的 sink 作为 第二个 agent的source

    • sink:

      • hdfs

      • hive => hdfs

      • logger

      • avro => 序列化的东西

    • 案例   读取1111端口数据 数据发送到2222端口 最终2222端口 把数据写入hdfs

      • 需求：读取1111端口数据 数据发送到2222端口 最终2222端口 把数据写入hdfs
                    agent：
                          nc-mem-avro
                          avro-mem-hdfs
                          avro-mem-logger

      • 1. 两个agent

        • agent1：
           配置 nc-mem-avro.conf文件
           路径：/home/hadoop/project/flume/avro
           [hadoop@bigdata13 avro]$ vim nc-mem-avro.conf

          a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 1111

a1.channels.c1.type = memory

a1.sinks.k1.type = avro
a1.sinks.k1.hostname=bigdata13
a1.sinks.k1.port=2222

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

        •  agent2
           配置 avro-mem-logger.conf文件
           路径：/home/hadoop/project/flume/avro
           [hadoop@bigdata13 avro]$ vim avro-mem-logger.conf
                            avro-mem-hdfs
                            avro-mem-logger

          a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = avro
a1.sources.r1.bind = bigdata13
a1.sources.r1.port = 2222
a1.channels.c1.type = memory
a1.sinks.k1.type = logger
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

      • 2.启动flume （三个）

        • 先启动端口2222的后启动端口1111的，最后启动source.data 
          【从后向前启】

        • 启动flume1

          flume-ng agent \
--name a1 \
--conf ${FLUME_HOME}/conf \
--conf-file /home/hadoop/project/flume/avro/avro-mem-logger.conf \
-Dflume.root.logger=info,console

        • 启动flume2

          flume-ng agent \
--name a1 \
--conf ${FLUME_HOME}/conf \
--conf-file /home/hadoop/project/flume/avro/nc-men-avro.conf \
-Dflume.root.logger=info,console

        • 启动flume3
          连接本地

          telnet localhost 1111

           ①左上角启动的  nc-mem-avro.conf            1111
           ②左下角启动的  avro-mem-logger.conf      2222
           ③右边启动的 telnet localhost 1111
           在③中的命令在②中表现

  • 5.压缩存储 bzip2

    • 案例：
              采集日志数据 [自己造] 3k条 ：java shell
              采集到hdfs上 采用压缩存储 bzip2
      • 过程
                 source: exec taildir
                 channle :mem file
                 sink: hdfs => bzip2
      • 1.数据
           路径： 
        for x in {1..3000}
do 
  echo "dl2262,${x}" >> /home/hadoop/tmp/codec.log
  sleep 0.1s
done
      • 2.agent
          配置 taildir-mem-hdfs-bzip2.conf 文件
          路径：/home/hadoop/project/flume
          [hadoop@bigdata13 flume]$ vim taildir-mem-hdfs-bzip2.conf  
        agent1.sources = r1
agent1.sinks = k1
agent1.channels = c1

agent1.sources.r1.type = TAILDIR
agent1.sources.r1.filegroups = f1
agent1.sources.r1.filegroups.f1=/home/hadoop/tmp/codec.log

agent1.channels.c1.type = memory

agent1.sinks.k1.type = hdfs
agent1.sinks.k1.hdfs.path = hdfs://bigdata13:9000/flume/bzip2/
agent1.sinks.k1.hdfs.fileType=CompressedStream
agent1.sinks.k1.hdfs.writeFormat=Text
#文件前后缀
agent1.sinks.k1.hdfs.filePrefix=events
agent1.sinks.k1.hdfs.fileSuffix=.bz2
agent1.sinks.k1.hdfs.codeC=bzip2

#文件滚动 
agent1.sinks.k1.hdfs.rollInterval=60
agent1.sinks.k1.hdfs.rollSize=134217728
agent1.sinks.k1.hdfs.rollCount=100

agent1.sources.r1.channels = c1
agent1.sinks.k1.channel = c1
      • 3.启动
           路径：/home/hadoop/app/flume/conf 
        flume-ng agent \
--name agent1 \
--conf ${FLUME_HOME}/conf \
--conf-file /home/hadoop/project/flume/taildir-mem-hdfs-bzip2.conf \
-Dflume.root.logger=info,console

        hdfs中内容由于压缩看不到


        使用命令查看 [hadoop@bigdata13 tmp]$ hadoop fs -text /flume/bzip2/events.1670985423512.bz2
         /flume/bzip2 ：路径
         events.1670985423512.bz2 ： 文件名

姚circle
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flume-day02_基础案例
weixin_48370579的博客
06-18 149
1 、基础案例 案例一： 在使用之前，提供一个大致思想，使用Flume的过程是确定scource类型，channel类型和sink类型，编写conf文件并开启服务，在数据捕获端进行传入数据流入到目的地。 案例一、从控制台打入数据，在控制台显示 1、确定scource类型，channel类型和sink类型 确定的使用类型分别是，netcat source, memory channel, l...
Flume-day03_进阶案例
weixin_48370579的博客
06-18 193
案例六、多路复制 1、将flume复制到node1,node2 [root@master soft]# scp -r flume-1.9.0 node1:`pwd` [root@master soft]# scp -r flume-1.9.0 node2:`pwd` 2、在node1节点的/usr/local/soft/bigdata17/scripts 下新建配置文件： vim n...
day01(Flume)
yygyj的博客
07-16 307
flume
day04_Flume
wzb1983的博客
02-14 835
Apache Flume 1． 概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。 Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。 Flume支持定制各类数据发送方，用于收集各类型数据；同时，Flume支持定制各种数据接受方，用于最终存储数据
Day52_Flume
qq_36972345的博客
10-08 136
一、Flume概述 （一）Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。说白了，这个工具就是帮助我们实时的采集数据的，如果没有这个工具的话，我们需要自己写好多代码来完成数据采集，而且采集的数据或者目的地一旦发生变化，那么需要修改代码，比较麻烦，有了这个工具之后只需要简单的进行配置，就可以使用它采集数据了，不用写代码。 Flume支持定制各类数据发送方，用于收集各类型数据；同时，Flume支持定制各
六阶段大数据--day06--Apache Flume/ Source案例练习/ 集群部署
weixin_58580280的博客
01-18 1709
一 Apache Flume 1． 概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。 Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume再删除自己缓存的数据。 Flume支持定制各类数据发送方，用于收集各类型数据；同时，Flume支持定制各种数据...
day04 ---- Flume
qq_764694767的博客
03-01 156
1 Apache Flume 日志收集 https://flume.apache.org/ 1.1 概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。 Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel 管道),待数据真正到达目的地(sink 水槽，下沉点)后，flume在删除自己缓存的数据。 Flume支持定制各类
flume采集配置案例-安装 （twenty-nine day second）
ZJX103RLF的博客
04-24 276
使用flume 解压apache-flume-1.6.0-bin.tar.gz 然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME 根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义) 指定采集方案配置文件，在相应的节点上启动flume agent 配置dir-hdfs.conf 【配置里面参数的后面不能再有注释，否则会...
Flume学习 day01
m0_49528461的博客
10-12 112
今天，我开始了Flume的学习。学习了Flume的简介、Flume的特点、组件核心概念、拦截器-数据流-可靠性、使用场景、数据传输过程、Flume-1.7-安装、telnet-安装、Flume-telnet-案例、Flume-文件-案例、Flume-文件夹-案例、双层Flume一对二案例、双层Flume-二对一案例、了解更多组件。 总结一下： 1.Flume简介 Flume作为Cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume初始的发行版本目前被统称为Flume OG（origi
flume配置文件案例
09-27
flume配置文件，文件配了说明，可以拿下来改一改就用。 可以获取端口数据监听或者文件、文件夹内容监听，实时写入hdfs、mysql或者你需要的路径。
Flume的高级案例
10-17
### Flume的高级案例分析：ReplicatingChannelSelector详解 #### 概述 Flume作为Hadoop生态体系中的一种高效、可靠的服务，主要用于收集、聚合并传输大量的日志数据或其他类型的数据。它提供了丰富的功能来满足...
flume 真实案例配置文件
10-18
flume agent收集数据 一个源对于两个sink 同时输出到hdfs和kafka 的配置文件，注意其中的 source绑定channel时候 channel1 channel2 不能分开写，该配置文件已经过集群实验成功收集到数据的
Flume简单案例
01-07
采集目录到 HDFS **采集需求：**服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到 HDFS 中去 根据需求，首先定义以下 3 大要素  采集源，即 source——监控文件目录 : spooldir ...
flume 采集springboot log 简单案例
06-17
springboot应用程序是一个利用 JdbcTemplate 简单查询的案例. flume 是1.9 的版本,官网可以下载. 安装也简单.
flume系列之：flume生产环境sink重要参数理解
zhengzaifeidelushang的博客
08-19 116
flume系列之：flume生产环境sink重要参数理解
prometheus
2201_75912662的博客
08-18 981
无人驾驶车辆运行中要记录的经度，纬度，速度，方向，旁边物体的距离等等。大都为插入操作较多且无更新的需求，插入数据多，每秒钟插入数据可到达千万甚至是上亿条。分析过去时序数据可以做成多纬度报表，揭示其趋势性、规律性、异常性。分析时序数据趋势可以做大数据分析，机器学习，实现预测和预警。按照时间顺序记录系统、设备状态变化的数据被称为时序数据。不依赖分布式存储，单个服务器节点是自主的。数据带有时间属性，且数据量随着时间递增。某一个地区的各车辆的行驶轨迹数据。模型拉去时间序列数据。可以查看到监控的数据。
数字（智）化采购系统优点_亮点_应用场景
xinyuan_123456的博客
08-19 384
数字化采购系统研发商，系统融合云原生、微服务、大数据、人工智能、物联网等先进技术，构建业务中台、数据中台、AI中台三大核心基座，以采购为切入点，结合供应链管理理念，为招采供应链提供交易、监管、数据、服务、运营为一体的全流程数智化解决方案
使用docker-compose 搭建es集群
最新发布
weixin_59367598的博客
08-22 448
docker 部署 es 集群
第1关:flume采集方案案例
05-31
一个简单的Flume采集方案案例如下： 1. 配置Flume Agent 在Flume的conf目录中，新建一个配置文件flume.conf，并添加以下内容： ``` # Name the components on this agent agent.sources = source1 agent.sinks = ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值