Flume采集数据到Hive&Hbase

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

目录

前言

       1.什么是flume

       2.flume的组成

一、Flume汇入数据到Hive

方法一：汇入到Hive指定的HDFS路径中：

方法二、利用HiveSink汇入数据

二. Flume 汇入数据到HBase

1.Flume 的HBaseSinks 详细介绍

 1.1、HBaseSink

 1.2、AsyncHBaseSink

2、HBaseSinks的三种序列化模式使用

SimpleHbaseEventSerializer

SimpleAsyncHbaseEventSerializer

RegexHbaseEventSerializer

总结

---

前言

 1.什么是flume

 Flume 是Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系 统。Flume 基于流式架构，灵活简单。

Flume分为了两个版本：flume-og(老版本) à flume-ng(新的版本)。

2.flume的组成

Flume分布式系统中最核心的角色是Agent，Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。

Agent 主要有 3 个部分组成，Source、Channel、Sink。

source：收集数据 以event为单元进行封装发送给channel

channel：
source 和 sink之间的缓冲区
是线程安全的
允许source和sink运作在不同的速率上
可以同时处理多个source的写入和多个sink的读取操作

sink：不断从channel取出数据 发送到设定的目标地

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、Flume汇入数据到Hive

方法一：汇入到Hive指定的HDFS路径中：

1.在hive中创建数据库和外部表

create database flume;
create external table flume_into_hive(name string,age int) partitioned by (dt string) row format delimited fields terminated by ',' location '/user/hive/warehouse/flume.db/flume_into_hive';

2.在/root中创建hive.log文件

mkdir flume-hive
cd flume-hive/
vi hive.log

3.在flume的conf路径中编写配置文件

cd /opt/software/flume/conf/
vi flume-into-hive-1.conf
agent.sources=r1
agent.channels=c1
agent.sinks=s1

agent.sources.r1.type=exec
agent.sources.r1.command=tail -F /root/flume-hive/hive.log

agent.channels.c1.type=memory
agent.channels.capacity=1000
agent.channels.c1.transactionCapacity=100

agent.sinks.s1.type=hdfs
agent.sinks.s1.hdfs.path = hdfs://node01:9000/user/hive/warehouse/flume.db/flume_into_hive/dt=%Y%m%d
agent.sinks.s1.hdfs.filePrefix = upload-
agent.sinks.s1.hdfs.fileSuffix=.txt
#是否按照时间滚动文件夹
agent.sinks.s1.hdfs.round = true
#多少时间单位创建一个新的文件夹
agent.sinks.s1.hdfs.roundValue = 1
#重新定义时间单位
agent.sinks.s1.hdfs.roundUnit = hour
#是否使用本地时间戳
agent.sinks.s1.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
agent.sinks.s1.hdfs.batchSize = 100
#设置文件类型，可支持压缩
agent.sinks.s1.hdfs.fileType = DataStream
agent.sinks.s1.hdfs.writeFormat=Text
#多久生成一个新的文件
agent.sinks.s1.hdfs.rollInterval = 60
#设置每个文件的滚动大小大概是 128M
agent.sinks.s1.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
agent.sinks.s1.hdfs.rollCount = 0

agent.sources.r1.channels=c1
agent.sinks.s1.channel=c1

4.运行flume

 bin/flume-ng agent -c conf -f conf/hive/flume-into-hive-1.conf -n agent

5.查询hdfs中的数据6.在hive表中加载数据

load data inpath '/user/hive/warehouse/flume.db/flume_into_hive/dt=20220520' into table flume_into_hive partition(dt=20220520);

7.查询hive表中的数据

select * from flume_into_hive;

方法二、利用HiveSink汇入数据

1.从hive/lib和hive/hcatalog/share/hcatalog/中找寻下列JAR包，放入到flume/lib中。