Flume配置1——基础案例

最新推荐文章于 2024-05-12 16:12:10 发布
最新推荐文章于 2024-05-12 16:12:10 发布
阅读量1.4k 收藏 11
点赞数 3
分类专栏： Flume 文章标签： flume java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51699336/article/details/125508430
版权
  • 截图颜色有出入

Flume安装与配置

1.到官网下载flume

2.将压缩文件上传到需要日志采集的Linux

  • 这里是node1
    在这里插入图片描述

3.解压

  • tar -xvf apache-flume-1.9.0-bin.tar.gz

4.修改解压文件的名称

  • mv apache-flume-1.9.0-bin/ flume-1.9.0

5.将flume/conf下的flume-env.sh.template文件修改为flume-env.sh，并配置文件JAVA_HOME

  • cd /usr/local/flume-1.9.0/conf
  • mv flume-env.sh.template flume-env.sh
  • vim flume-env.sh
  • export JAVA_HOME=/usr/java/jdk1.8.0_151在这里插入图片描述

Flume监控端口并打印到控制台

1.官网读配置方法

2.需求

  • 首先启动Flume任务，监控本机44444端口(服务端)
  • 然后通过telnet工具向本机44444端口发送消息(客户端)
  • 最后Flume将监听的数据实时显示在控制台

3.原理图

在这里插入图片描述

开始配置

4.安装telnet

  • 检查是否安装，有输出表示安装了
rpm -qa telnet-server
rpm -qa xinetd
  • 安装
yum -y install telnet
yum -y install xinetd
  • 启动服务
systemctl start xinetd.service
  • 设置为开机自启
systemctl enable xinetd.service
  • 重启的命令，此处不要操作
systemctl restart xinetd.service

5.配置环境变量

  • vim /etc/profile
    在这里插入图片描述
JAVA_HOME=/usr/java/jdk1.8.0_152
JRE_HOME=/usr/java/jdk1.8.0_151/jre
HADOOP_HOME=/usr/local/hadoop-2.7.1
ZOOKEEPER_HOME=/usr/local/zookeeper-3.3.6
FLUME_HOME=/usr/local/flume-1.9.0

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$FLUME_HOME/bin
export PATH CLASSPATH JAVA_HOME JRE_HOME HADOOP_HOME ZOOKEEPER_HOME FLUME_HOME
  • source /etc/profile

3.检查44444端口是否被占用

  • ** sudo netstat -tunlp | grep 44444**
    在这里插入图片描述
  • 若有输出则需要进行一下步骤杀死进程
  • 首先哪个进程占用该端口
lsof -i:44444
  • 杀死该进程
kill -9 PID

4.创建一个目录用于放每个任务的配置文件

在这里插入图片描述

5./jobs/t1下编写配置

  • vim flume-telnet-logger.conf
注意：最好将中文删去--(这句话也不要)

# Name the components on this agent   --  a1表示agent的名字
a1.sources = r1	#表示a1的输入源
a1.sinks = k1	#表示a1的输出目的地
a1.channels = c1	#表示a1的缓冲区

# Describe/configure the source
a1.sources.r1.type = netcat	#表示a1的输入源类型为netcat端口类型
a1.sources.r1.bind = localhost	#表示a1的监听主机
a1.sources.r1.port = 44444	#表示a1的监听端口号

# Describe the sink
a1.sinks.k1.type = logger		#表示a1的输出目的地时控制台logger类型

# Use a channel which buffers events in memory
a1.channels.c1.type = memory	#表示a1的缓冲区类型是内存型
a1.channels.c1.capacity = 1000	#表示a1的缓冲区总容量是1000个event
a1.channels.c1.transactionCapacity = 100	#表示a1的缓冲区之前收集到100条event后再提交事务

# Bind the source and sink to the channel
a1.sources.r1.channels = c1	#连接source与channel
a1.sinks.k1.channel = c1	#连接sink与channel

6.启动flume

  • bin/flume-ng agent --conf conf --conf-file
    jobs/t1/flume-telnet-logger.conf --name a1
    -Dflume.root.logger==INFO,console
命令解析
	--conf conf：配置文件目录
	--conf-file jobs/t1/flume-telnet-logger.conf：flume本次启动读取的配置文件位置
	--name a1：agent的名字
	-Dflume.root.logger==INFO,console
		-D表示flume运行时动态修改flume.root.logger参数属性值
		将控制台日志打印级别设置为INFO级别
  • jps
    在这里插入图片描述

7.另外打开一个node1节点，通过telnet发送消息

  • telnet localhost 44444
    在这里插入图片描述
    在这里插入图片描述

实时读取本地文件到HDFS

1.原理图

在这里插入图片描述

开始配置

2.拷贝相关Hadoop的jar到flume-1.9.0/lib下

在这里插入图片描述
在这里插入图片描述

3./jobs/t2下创建flume-file-hdfs.conf文件

  • 注意相关配置官网都可查！！！一定要学会查！！
  • vim flume-file-hdfs.conf
a2.sources=r2
a2.sinks=k2
a2.channels=c2

a2.sources.r2.type=exec
a2.sources.r2.command=tail -F /usr/local/hadoop-2.7.1/logs/hadoop-root-namenode-hadoop100.log	#Source读取数据前执行的命令
a2.sources.r2.shell=/bin/bash -c
a2.sources.r2.batchSize=10
a2.sources.r2.batchTimeout=2000

a2.sinks.k2.type=hdfs
a2.sinks.k2.hdfs.path=hdfs://node1:8020/flume/%Y%m%d/%H	#hdfs路径 /年月日/小时
a2.sinks.k2.hdfs.filePrefix=logs-	#文件前缀
a2.sinks.k2.hdfs.round=true	#轮询
a2.sinks.k2.hdfs.roundValue=1	#时间间隔
a2.sinks.k2.hdfs.roundUnit = hour	#重新定义时间单位
a2.sinks.k2.hdfs.useLocalTimeStamp = true	#是否使用本地时间戳
a2.sinks.k2.hdfs.batchSize = 100	#积攒多少个Event才flush到HDFS一次
a2.sinks.k2.hdfs.fileType = DataStream	#设置文件类型，可支持压缩
a2.sinks.k2.hdfs.rollInterval = 600	#多久生成一个新的文件
a2.sinks.k2.hdfs.rollSize = 134217700	#设置每个文件的滚动大小
a2.sinks.k2.hdfs.rollCount = 0	#文件的滚动与Event数量无关
a2.sinks.k2.hdfs.minBlockReplicas = 1	#最小冗余数

# Use a channel which buffers events in memory
a2.channels.c2.type = memory
a2.channels.c2.capacity = 1000
a2.channels.c2.transactionCapacity = 1000

# Bind the source and sink to the channel
a2.sources.r2.channels = c2
a2.sinks.k2.channel = c2

4.启动flume

  • bin/flume-ng agent --conf conf --conf-file jobs/t2/flume-file-hdfs.conf --name a2 -Dflume.root.logger==INFO,console

5.HDFS查看日志文件

在这里插入图片描述

单数据源Source多出口Channel-Sink案例(选择器)

1.拓扑图

在这里插入图片描述

2.需求

  • Flume-1(node1)监控文件变动，Flume-1将变动内容传递给Flume-2，Flume-2(node3)负责存储到HDFS
  • 同时Flume-1将变动内容传递给Flume-3，Flume-3(node3)负责输出到Local FileSystem

3.原理图

在这里插入图片描述

开始配置

4.在node1的/jobs/t3下创建exec-flume-avro.conf文件，该文件是分发分Agent

  • vim exec-flume-avro.conf
# Name the components on this agent
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2

a1.sources.r1.selector.type = replicating	# 将数据流复制给所有channel
a1.sources.r1.selector.optional = c2	#若c2写入流错误则系统忽略，但c1错误则回滚

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /tmp/a.log
a1.sources.r1.shell = /bin/bash -c

# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = node1
a1.sinks.k1.port = 4141

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = node1
a1.sinks.k2.port = 4142

# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.channels.c2.type = memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

5.同步配置到其他节点

  • scp -r flume-1.9.0/ node2:/usr/local/
  • scp -r flume-1.9.0/ node3:/usr/local/
  • scp -r flume-1.9.0/ node4:/usr/local/

6.为noed234节点配置环境变量

  • vim /etc/profile
JAVA_HOME=/usr/java/jdk1.8.0_152
JRE_HOME=/usr/java/jdk1.8.0_151/jre
HADOOP_HOME=/usr/local/hadoop-2.7.1
ZOOKEEPER_HOME=/usr/local/zookeeper-3.3.6
FLUME_HOME=/usr/local/flume-1.9.0

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib 
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$FLUME_HOME/bin
export PATH CLASSPATH JAVA_HOME JRE_HOME HADOOP_HOME ZOOKEEPER_HOME FLUME_HOME
  • source /etc/profile

7.在node3的/jobs/t3下创建avro-flume-hdfs.conf文件，该文件是配置写到hdfs的flume

  • vim avro-flume-hdfs.conf
# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1

# Describe/configure the source
a2.sources.r1.type = avro
a2.sources.r1.bind = node3
a2.sources.r1.port = 4141

# Describe the sink
a2.sinks.k1.type = hdfs
a2.sinks.k1.hdfs.path = hdfs://node3:8020/flume2/%Y%m%d/%H

a2.sinks.k1.hdfs.filePrefix = flume2-	#上传文件的前缀
a2.sinks.k1.hdfs.round = true	#是否按照时间滚动文件夹
a2.sinks.k1.hdfs.roundValue = 1	#多少时间单位创建一个新的文件夹
a2.sinks.k1.hdfs.roundUnit = hour	#重新定义时间单位
a2.sinks.k1.hdfs.useLocalTimeStamp = true	#是否使用本地时间戳
a2.sinks.k1.hdfs.batchSize = 100	#积攒多少个Event才flush到HDFS一次
a2.sinks.k1.hdfs.fileType = DataStream	#设置文件类型，可支持压缩
a2.sinks.k1.hdfs.rollInterval = 600	#多久生成一个新的文件
a2.sinks.k1.hdfs.rollSize = 134217700	#设置每个文件的滚动大小大概是128M
a2.sinks.k1.hdfs.rollCount = 0	#文件的滚动与Event数量无关
a2.sinks.k1.hdfs.minBlockReplicas = 1	#最小冗余数

# Describe the channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

8.在node3的/jobs/t3下创建avro-flume-dir.conf文件，该文件是配置写到本地的flume

  • vim avro-flume-dir.conf
# Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c2

# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = node3
a3.sources.r1.port = 4142

# Describe the sink
a3.sinks.k1.type = file_roll
a3.sinks.k1.sink.directory = /tmp/flumedatatest

# Describe the channel
a3.channels.c2.type = memory
a3.channels.c2.capacity = 1000
a3.channels.c2.transactionCapacity = 100

# Bind the source and sink to the channel
a3.sources.r1.channels = c2
a3.sinks.k1.channel = c2

9.node3下分别启动两个flume，若先启动flume1的话会导致远程连接失败，被拒绝连接

  • bin/flume-ng agent --conf conf --conf-file
    jobs/t3/avro-flume-hdfs.conf --name a2
    -Dflume.root.logger==INFO,console
  • bin/flume-ng agent --conf conf --conf-file
    jobs/t3/avro-flume-dir.conf --name a3
    -Dflume.root.logger==INFO,console

10.node1启动，在t3下

  • bin/flume-ng agent --conf conf --conf-file
    jobs/t3/exec-flume-avro.conf --name a1
    -Dflume.root.logger==INFO,console

11.结果

  • 本地文件
    在这里插入图片描述
  • hdfs文件

单数据源Source-Channel多出口Sink案例(负载均衡)

1.拓扑图

在这里插入图片描述

2.需求

  • Flume-1(node1)监控文件变动，Flume-1将变动内容传递给Flume-2，Flume-2(node1)负责打印到控制台
  • 同时Flume-1将变动内容传递给Flume-3，Flume-3(node1)也负责打印到控制台

3.原理图

在这里插入图片描述

开始配置

4.在node1的/jobs/t4下创建netcat-flume-avro.conf文件

  • vim netcat-flume-avro.conf
# Name the components on this agent
a1.sources = r1
a1.channels = c1
a1.sinkgroups = g1
a1.sinks = k1 k2

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

a1.sinkgroups.g1.processor.type = load_balance
a1.sinkgroups.g1.processor.backoff = true
a1.sinkgroups.g1.processor.selector = round_robin
a1.sinkgroups.g1.processor.selector.maxTimeOut=10000

# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = node1
a1.sinks.k1.port = 4141

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = node1
a1.sinks.k2.port = 4142

# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinkgroups.g1.sinks = k1 k2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c1
-------------------------------------
a1.sinkgroups = g1
	为了消除数据处理管道中的单点故障，Flume可以使用负载平衡或故障转移策略，将event发送到不同的sink
	sink组是用来创建逻辑上的一组sink，这个组的行为是由sink处理器来决定的，它决定了event的路由策略
a1.sinkgroups.g1.processor.type = load_balance	#负载均衡，除了这个还有default, failover(故障转移)
a1.sinkgroups.g1.processor.backoff = true	#Should failed sinks be backed off exponentially
a1.sinkgroups.g1.processor.selector = round_robin	#负载均衡策略
a1.sinkgroups.g1.processor.selector.maxTimeOut=10000

5.在node1的/jobs/t4下创建avro-flume-console1.conf文件

  • vim avro-flume-console1.conf
# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1

# Describe/configure the source
a2.sources.r1.type = avro
a2.sources.r1.bind = node1
a2.sources.r1.port = 4141

# Describe the sink
a2.sinks.k1.type = logger

# Describe the channel
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

6.在node1的/jobs/t4下创建avro-flume-console2.conf文件

  • vim avro-flume-console2.conf
# Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c2

# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = node1
a3.sources.r1.port = 4142

# Describe the sink
a3.sinks.k1.type = logger

# Describe the channel
a3.channels.c2.type = memory
a3.channels.c2.capacity = 1000
a3.channels.c2.transactionCapacity = 100

# Bind the source and sink to the channel
a3.sources.r1.channels = c2
a3.sinks.k1.channel = c2

7.先启动flume23，再启动flume1

  • bin/flume-ng agent --conf conf --conf-file
    jobs/t4/avro-flume-console2.conf --name a3
    -Dflume.root.logger==INFO,console
  • bin/flume-ng agent --conf conf --conf-file
    jobs/t4/avro-flume-console1.conf --name a2
    -Dflume.root.logger==INFO,console
  • bin/flume-ng agent --conf conf --conf-file
    jobs/t4/netcat-flume-avro.conf --name a1
    -Dflume.root.logger==INFO,console

8.telnet向node1发送消失

  • telnet localhost 44444

9.结果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

多数据源汇总

1.拓扑图

在这里插入图片描述

2.需求

  • node3上的Flume-1监控文件 /usr/local/hive236/logs/hive.log
  • node1上的Flume-2监控44444端口的数据流
  • Flume-1与Flume-2将数据发送给node4上的Flume-3，Flume-3将最终数据打印到控制台

3.原理图

在这里插入图片描述

开始配置

4.在node3的/jobs/t5下创建exec-flume-avro.conf文件

  • vim exec-flume-avro.conf
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /tmp/a.log
a1.sources.r1.shell = /bin/bash -c

# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = node4
a1.sinks.k1.port = 4141

# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

5.在node1的/jobs/t5下创建netcat-flume-avro.conf文件

  • vim netcat-flume-avro.conf
# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1

# Describe/configure the source
a2.sources.r1.type = netcat
a2.sources.r1.bind = localhost
a2.sources.r1.port = 44444

# Describe the sink
a2.sinks.k1.type = avro
a2.sinks.k1.hostname = node4
a2.sinks.k1.port = 4141

# Use a channel which buffers events in memory
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

6.在node4的/jobs/t5下创建avro-flume-logger.conf文件

  • vim avro-flume-logger.conf
# Name the components on this agent
a3.sources = r1
a3.sinks = k1
a3.channels = c1

# Describe/configure the source
a3.sources.r1.type = avro
a3.sources.r1.bind = node4
a3.sources.r1.port = 4141

# Describe the sink
a3.sinks.k1.type = logger

# Describe the channel
a3.channels.c1.type = memory
a3.channels.c1.capacity = 1000
a3.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a3.sources.r1.channels = c1
a3.sinks.k1.channel = c1

7.启动顺序flume321

  • bin/flume-ng agent --conf conf --conf-file jobs/t5/avro-flume-logger.conf --name a3 -Dflume.root.logger==INFO,console
  • bin/flume-ng agent --conf conf --conf-file jobs/t5/netcat-flume-avro.conf --name a2 -Dflume.root.logger==INFO,console
  • bin/flume-ng agent --conf conf --conf-file jobs/t5/exec-flume-avro.conf --name a1 -Dflume.root.logger==INFO,console

8.telnet向node1发送消失

  • telnet localhost 44444
    在这里插入图片描述

9.a.log输入内容

在这里插入图片描述
在这里插入图片描述

ChenJieYaYa
关注
  • 3
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flume的安装和配置
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 1万+
Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种storage。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。本试验就是通过学习flume工具的安装，为后面学习flume实现对数据信息的采集以便于解决实际中存在的问题打下基础。熟练flume的安装和配置，理解flume的原理和应用本次环境是：Ubuntu16.04 + jdk1.8.0_73 + hadoop-2.7.3+f
Flume简单案例
01-07
采集目录到 HDFS **采集需求：**服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到 HDFS...配置文件编写： # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.cha
Flume笔记二：案例
qq_47932841的博客
08-25 385
案例一： 复制和多路复用 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eMUIIsHM-1598360531912)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1598353568861.png)] vim a1.conf //第一道flume #各个组件命名 a1.sources = r1 a1.channels = c1 c2 a1.sinks = k1 k2 #Source a
flume安装与配置
weixin_53898747的博客
03-10 1880
flume安装与配置
最新【数仓】flume软件安装及配置_flume的安装配置，【深度思考
最新发布
2401_84181058的博客
05-12 870
在实际应用中，Flume可以用于日志收集、事件跟踪、数据流处理等场景。通过将数据从不同的数据源采集并传输到指定的目的地，Flume可以帮助企业实现数据的集中存储和管理，为后续的数据分析和挖掘提供基础。它主要用于将大量的日志数据从不同的数据源收集起来，然后通过通道（Channel）进行传输，最终将数据传输到指定的目的地，如HDFS、HBase等。这份配置文件定义了一个简单的Flume Agent，它使用TAILDIR source来监控某个目录下的日志文件变化，并将新增的日志内容发送到Kafka。
大数据技术——Flume简介&安装配置&使用案例
weixin_44606952的博客
11-29 9953
1. Flume 概述 1.1 Flume简介 1.2 Flume的特点 1.3 Flume的基础架构 2. Flume安装配置 2.1 下载地址 2.2 安装部署 3. Flume 使用案例 3.1 实时监控单个追加文件 3.2 实时监控目录下多个新文件 3.3 实时监控目录下的多个追加文件
【flume 配置详解】
scott_bing的专栏
04-24 2690
在上面的配置中，我们可以看到agent1.sources、agent1.channels和agent1.sinks这些属性，它们分别对应了源、通道和目标组件的配置，而agent1.sources.source1.type、agent1.sources.source1.command、agent1.channels.channel1.type等则对应了各自的属性。在上面的配置中，我们使用了内存通道(Memory Channel)，它的容量设置为1000，即最多可以存储1000个Event事件。
Flume安装与使用
weixin_72036027的博客
03-10 741
flume概念和使用
关于Flume学习视频的对照文档.docx
01-29
Flume入门案例** 以监控端口数据为例，Flume可以监听特定端口，收集流入数据并输出到控制台。实现步骤包括安装必要的工具（如netcat），配置Flume Agent的Source为netcat类型，Sink为logger，然后启动Flume并验证...
最新Hadoop生态圈开发学习资料——尚硅谷
04-03
首先，我们从基础开始，Linux是Hadoop运行的基础平台，其稳定性和可扩展性使得它成为大数据处理的理想选择。熟悉Linux操作系统的基本操作和命令行工具是学习Hadoop的第一步。 Hadoop是Apache软件基金会开发的一个...
hadoop-辅助工具-笔记.docx
05-13
本文主要探讨其中的一个重要工具——Flume，它是Hadoop生态中的日志采集框架。 **1. Flume日志采集框架** Flume是一个专门设计用于大规模日志数据采集、聚合和传输的分布式系统。其核心特点包括： - **分布式、...
Flume介绍和使用
迷雾总会解
09-21 1873
Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。官方提供的 source 类型已经很多，但是有时候并不能满足实际开发当中的需求，此时我们就需要根据实际需求自定义某些 source。
建立stu数据库，并在数据库中建立student表，其结构为stuNum，stuName，age，并输出打印信息到控制台。
m0_63949203的博客
06-11 910
【代码】建立stu数据库，并在数据库中建立student表，其结构为stuNum，stuName，age，并输出打印信息到控制台。
把文件中的学生信息输出到控制台上
lena blog
07-18 613
package student; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.FileReader; import java.io.FileWriter; import java.io.IOException; import java.util.ArrayList; import java...
如何连接数据库，把数据库表的信息打印在控制台
weixin_54498280的博客
07-22 1614
我数据库中java220702数据库的student表中的数据是这样的。字段idNAMEagegender分别得到结果集的信息。说明以下url中13306是端口号，一般默认为3306java220702是数据库名称。4创建statement5步执行sql语句并返回结果集。3.写sql语句得到student表中的所有信息。在src下面新建一个Test类后，开始写代码。需要处理异常用trycatch捕获异常。1.创建文件目录lib导入jar包。jar包可以打开了就说明成功了。......
flume介绍与配置
Pioneer_1的博客
07-16 1249
flume介绍与配置1.介绍2.数据来源3.实战3.1 HW3.1.1本地连本地3.1.2设置允许外部链接到本地 1.介绍 Flume(水槽):采集工具,将大数据分散的数据源(数据库,日志)统一采集到一个地方(hdfs), 官网:http://flume.apache.org/ Flume是一种分布式、可靠和可用的服务，可以高效地收集、聚合和移动大量的日志数据。它具有基于流数据流的简单灵活的体系结构。它具有鲁棒性和容错性，具有可调的可靠性机制和多种故障转移和恢复机制。它使用了一个简单的、可扩展的数
大数据：Flume安装部署和配置
梁辰兴的博客
11-16 4530
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。数据采集我们使用Flume。
Flume的配置与使用
大头皮鞋的博客
12-04 3199
前提条件： 安装好hadoop2.7.3（Linux系统下） 安装好Flume，参考：Flume安装配置 问题： AvroSource接收外部数据源，Logger作为sink，即通过AvroRPC调用，将数据缓存在channel中，然后通过Logger打印出数据。 实验步骤： 1.进入有权限的目录，例如~目录 $ cd ~ 2.创建配置文件avro.conf（关键） ...
Apache Flume 1.6.0 教程：安装、配置与案例解析
"本文介绍了Flume 1.6.0的基础知识，包括Flume的概念、官方网站、主要术语，以及如何配置Flume数据源。此外，还深入探讨了Flume的分布式特性、可靠性和高可用性，以及其数据流模型。" Flume是一个由Cloudera开发并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值