03-Flume的配置说明及案例演示(1)

Java攻城尸

于 2024-04-22 18:58:55 发布

阅读量218

点赞数 4

分类专栏：程序员文章标签： flume 大数据

本文链接：https://blog.csdn.net/z1667002/article/details/138088015

版权

程序员专栏收录该内容

572 篇文章 0 订阅

订阅专栏

properties of mem-channel-1

agent_foo.channels.mem-channel-1.type = memory

agent_foo.channels.mem-channel-1.capacity = 1000

agent_foo .channels.mem-channel-1.transactionCapacity = 100

properties of hdfs-Cluster1-sink

agent_foo.sinks.hdfs-Cluster1-sink.type = hdfs

agent_foo.sinks. hdfs-Cluster1-sink.hdfs.path = hdfs://namenode /flume/webdata

#…

常用的source和sink种类

常用的flume sources

Avro source:

avro

Syslog TCP source:

syslogtcp

Syslog uDP Source:

syslogudp

HTTP Source:

http

Exec source:

exec

JMS source:

jms

Thrift source:

thrift

Spooling directory source:

spooldir

Kafka source:

org.apache.flume. source.kafka, KafkaSource

…

常见的flume channels

Memory Channel

memory

JDBC Channel

jdbc

Kafka Channel

org.apache.flume.channel.kafka.KafkaChannel

File Channel

file

常用的flume sinks

HDFS Sink

hdfs

HIVE Sink

hive

Logger Sink

logger

Avro Sink

avro

Kafka Sink

org.apache.flume.sink.kafka.KafkaSink

Hbase Sink

hbase

案例演示

======================================================================

案例演示：avro+memory+logger

Avro Source:监听一个指定的Avro端口，通过Awro端口可以获取到Avro client发送过来的文件，即只要应用程序通过Avro端口发送文件，source组件就可以获取到该文件中的内容,输出位置为Logger

1.1 编写采集方案

[root@tianqinglong01 flume]# mkdir flumeconf

[root@tianqinglong01 flume]# cd flumeconf

[root@tianqinglong01 flumeconf]# vi avro-logger.conf

#定义各个组件的名字

a1.sources=avro-sour1

a1.channels=mem-chan1

a1.sinks=logger-sink1

#定义sources组件的相关属性

a1.sources.avro-sour1.type=avro

a1.sources.avro-sour1.bind=tianqinglong01

a1.sources.avro-sour1.port=9999

#定义channels组件的相关属性

a1.channels.mem-chan1.type=memory

#定义sinks组件的相关属性

a1.sinks.logger-sink1.type=logger

a1.sinks.logger-sink1.maxBytesToLog=100

#组件之间进行绑定

a1.sources.avro-sour1.channels=mem-chan1

a1.sinks.logger-sink1.channel=mem-chan1

1.2 启动Agent

[root@tianqinglong01 flumeconf]# flume-ng agent -c …/cong -f ./avro-logger.conf -n a1 -Dflume.root.logger-INFO,console

再开一个客户端

[root@tianqinglong01 ~]# echo “hello flume” >> text

[root@tianqinglong01 ~]# flume-ng avro-client -c $FLUME_HOME/conf -H tianqinglong01 -p 9999 -F ./text

案例演示实时采集（监听文件）： exec+memory+hdfs

Exec Source:监听一个指定的命令，获取一条命令的结果作为它的数据源

#常用的是tail -F file指令，即只要应用程序向日志（文件）里面写数据,source组件就可以获取到日志（文件）中最新的内容

memory:传输数据的Channel为Memory

hdfs是输出目标为Hdfs

配置方案

[root@tianqinglong flumeconf]# vi exec-hdfs.conf

a1.sources=r1

a1.sources.r1.type=exec

a1.sources.r1.command=tail -F /root/flume-test-exec-hdfs

a1.sinks=k1

a1.sinks.k1.type=hdfs

a1.sinks.k1.hdfs.path=hdfs://qianfeng01:8020/flume/tailout/%Y-%m-%d

a1.sinks.k1.hdfs.filePrefix=events

a1.sinks.k1.hdfs.round=true

a1.sinks.k1.hdfs.roundValue=10

a1.sinks.k1.hdfs.roundUnit=second

a1.sinks.k1.hdfs.rollInterval=3

a1.sinks.k1.hdfs.rollSize=20

a1.sinks.k1.hdfs.rollCount=5

a1.sinks.k1.hdfs.batchSize=1

a1.sinks.k1.hdfs.useLocalTimeStamp=true

a1.sinks.k1.hdfs.fileType=DataStream

a1.channels=c1

a1.channels.c1.type=memory

a1.channels.c1.capacity=1000

a1.channels.c1.transactionCapacity=100

a1.sources.r1.channels=c1

a1.sinks.k1.channel=c1

启动Agent

[root@tianqinglong flumeconf]# flume-ng agent -c …/conf -f ./exec-hdfs.conf -n a1 -Dflume.root.logger-INFO,console

测试数据

[root@tianqinglong ~]# echo “hello world” >> flume-test-exec-hdfs

案例演示实时采集（监听目录）： spool+mem+logger

spool: Source来源于目录，有文件进入目录就摄取。mem:通过内存来传输数据

logger:是传送数据到日志

配置方案

[root@tianqinglong01 flumeconf]# vi spool-logger.conf

a1.sources = r1

a1.channels = c1

a1.sinks = s1

a1.sources.r1.type=spooldir

a1.sources.r1.spoolDir = /home/flume/spool

a1.sources.r1.fileSuffix =.COMPLETED

a1.sources.r1.deletePolicy=never

ai.sources.r1.fileHeader=false

a1.sources.r1.fileHeaderKey=file

a1.sources.r1.basenameHeader=false

a1.sources.r1.basenameHeaderKey=basename

a1.sources.r1.batchSize=100

a1.sources.r1.inputCharset=UTF-8

a1.sources.r1.bufferMaxLines=1000

a1.channels.c1.type=memory

a1.sinks.s1.type=logger

a1.sinks.s1.maxBytesToLog=16

a1.sources.r1.channels=c1

a1.sinks.s1.channel=c1

启动Agent

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：Java）

最后

分享一套我整理的面试干货，这份文档结合了我多年的面试官经验，站在面试官的角度来告诉你，面试官提的那些问题他最想听到你给他的回答是什么，分享出来帮助那些对前途感到迷茫的朋友。

面试经验技巧篇

经验技巧1 如何巧妙地回答面试官的问题
经验技巧2 如何回答技术性的问题
经验技巧3 如何回答非技术性问题
经验技巧4 如何回答快速估算类问题
经验技巧5 如何回答算法设计问题
经验技巧6 如何回答系统设计题
经验技巧7 如何解决求职中的时间冲突问题
经验技巧8 如果面试问题曾经遇见过，是否要告知面试官
经验技巧9 在被企业拒绝后是否可以再申请
经验技巧10 如何应对自己不会回答的问题
经验技巧11 如何应对面试官的“激将法”语言
经验技巧12 如何处理与面试官持不同观点这个问题
经验技巧13 什么是职场暗语

面试真题篇

真题详解1 某知名互联网下载服务提供商软件工程师笔试题
真题详解2 某知名社交平台软件工程师笔试题
真题详解3 某知名安全软件服务提供商软件工程师笔试题
真题详解4 某知名互联网金融企业软件工程师笔试题
真题详解5 某知名搜索引擎提供商软件工程师笔试题
真题详解6 某初创公司软件工程师笔试题
真题详解7 某知名游戏软件开发公司软件工程师笔试题
真题详解8 某知名电子商务公司软件工程师笔试题
真题详解9 某顶级生活消费类网站软件工程师笔试题
真题详解10 某知名门户网站软件工程师笔试题
真题详解11 某知名互联网金融企业软件工程师笔试题
真题详解12 国内某知名网络设备提供商软件工程师笔试题
真题详解13 国内某顶级手机制造商软件工程师笔试题
真题详解14 某顶级大数据综合服务提供商软件工程师笔试题
真题详解15 某著名社交类上市公司软件工程师笔试题
真题详解16 某知名互联网公司软件工程师笔试题
真题详解17 某知名网络安全公司校园招聘技术类笔试题
真题详解18 某知名互联网游戏公司校园招聘运维开发岗笔试题

资料整理不易，点个关注再走吧
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
笔试题

真题详解8 某知名电子商务公司软件工程师笔试题
真题详解9 某顶级生活消费类网站软件工程师笔试题
真题详解10 某知名门户网站软件工程师笔试题
真题详解11 某知名互联网金融企业软件工程师笔试题
真题详解12 国内某知名网络设备提供商软件工程师笔试题
真题详解13 国内某顶级手机制造商软件工程师笔试题
真题详解14 某顶级大数据综合服务提供商软件工程师笔试题
真题详解15 某著名社交类上市公司软件工程师笔试题
真题详解16 某知名互联网公司软件工程师笔试题
真题详解17 某知名网络安全公司校园招聘技术类笔试题
真题详解18 某知名互联网游戏公司校园招聘运维开发岗笔试题

[外链图片转存中…(img-vBX0OaPB-1713783523806)]

资料整理不易，点个关注再走吧
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！