03、Apache Flume简单案例

最新推荐文章于 2024-11-06 11:12:27 发布
最新推荐文章于 2024-11-06 11:12:27 发布
阅读量1.4k 收藏
点赞数 5
分类专栏： 大数据 大数据辅助组件 文章标签： 大数据 flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43742212/article/details/103428920
版权

案例一：接收telent数据

使用网络telent命令向一台机器发送一些网络数据，然后通过flume采集网络端口数据
第一步：开发配置文件
根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义)
配置我们的网络收集的配置文件
在flume的conf目录下新建一个配置文件（采集方案）
vim /export/servers/apache-flume-1.8.0-bin/conf/netcat-logger.conf

# 定义这个agent中各组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 描述和配置source组件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.100.201
a1.sources.r1.port = 44444
# 描述和配置sink组件：k1
a1.sinks.k1.type = logger
# 描述和配置channel组件，此处使用是内存缓存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# 描述和配置source  channel   sink之间的连接关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

Channel参数解释：
capacity：默认该通道中最大的可以存储的event数量
trasactionCapacity：每次最大可以从source中拿到或者送到sink中的event数量
第二步：启动配置文件
指定采集方案配置文件，在相应的节点上启动flume agent先用一个最简单的例子来测试一下程序环境是否正常启动agent去采集数据

cd /export/servers/apache-flume-1.8.0-bin/

bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1  -Dflume.root.logger=INFO,console-c conf

-c conf 指定flume自身的配置文件所在目录
-f conf/netcat-logger.con 指定我们所描述的采集方案
-n a1 指定我们这个agent的名字
第三步：安装telent准备测试
在node02机器上面安装telnet客户端，用于模拟数据的发送
yum -y install telnet
telnet node01 44444 # 使用telnet模拟数据发送
在这里插入图片描述
在这里插入图片描述

案例二:采集目录到HDFS

结构示意图
在这里插入图片描述
采集需求: 某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去根据需求，首先定义以下三大要素

数据源组件，即source ——监控文件目录 :  spooldir
spooldir特性：
   1、监视一个目录，只要目录中出现新文件，就会采集文件中的内容
   2、采集完成的文件，会被agent自动添加一个后缀：COMPLETED
   3、所监视的目录中不允许重复出现相同文件名的文件
	*   
下沉组件，即sink——HDFS文件系统  :  hdfs sink
	* 
通道组件，即channel——可用file channel 也可以用内存channel

flume配置文件开发配置文件编写：
cd /export/servers/apache-flume-1.8.0-bin/conf
mkdir -p /export/servers/dirfile
vim spooldir.conf

# Name the components on this agent
a1.sources=r1
a1.channels=c1
a1.sinks=k1
# Describe/configure the source
##注意：不能往监控目中重复丢同名文件（a1.sources.r1.spoolDir=被监控的目录  --保证被监控的路径存在不存在就创建）
a1.sources.r1.type=spooldir
a1.sources.r1.spoolDir=/export/dir
a1.sources.r1.fileHeader = true
# Describe the sink
a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=hdfs://node01:8020/spooldir/
# Describe the channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
# Bind the source and sink to the channel
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

启动flume
cd /export/servers/apache-flume-1.8.0-bin

bin/flume-ng agent -c ./conf -f ./conf/spooldir.conf -n a1 -Dflume.root.logger=INFO,console

案例三：采集文件到Hdfs
采集需求：比如业务系统使用log4j生成的日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs

根据需求，首先定义以下3大要素
	采集源，即source——监控文件内容更新 :  exec  ‘tail -F file’
	下沉目标，即sink——HDFS文件系统  :  hdfs sink
	Source和sink之间的传递通道——channel，可用file channel 也可以用 内存channel

定义flume配置文件
主节点
cd /export/servers/apache-flume-1.8.0-bin/conf
vim tail-file.conf
配置文件内容

a1.sources=r1
a1.channels=c1
a1.sinks=k1
# Describe/configure tail -F source1
a1.sources.r1.type=exec
# 创建被tail -F 监控的文件路径
a1.sources.r1.command =tail -F /export/servers/taillogs/access_log
# Describe sink1  
a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=hdfs://node01:8020/spooldir/
# Use a channel which buffers events in memory
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
# Bind the source and sink to the channel
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

启动flume
cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin

bin/flume-ng agent -c conf -f conf/tail-file.conf -n a1  -Dflume.root.logger=INFO,console
开发shell脚本定时追加文件内容
mkdir -p /export/shells/
cd  /export/shells/
vim tail-file.sh

#!/bin/bash
while true
do
date >> /export/servers/taillogs/access_log;
  sleep 0.5;
done

创建文件夹
mkdir -p /export/servers/taillogs
在另一个窗口启动脚本
sh /export/shells/tail-file.sh
在这里插入图片描述
然后在另一个窗口执行命令之后
在这里插入图片描述
检查是否生成新文件
hdfs dfs -ls /spooldir

案例四:两个agent级联

在这里插入图片描述
在这里插入图片描述
需求分析：node01采集数据，发送给node02，node02将数据写入HDFS

在第一节点实例agent
1、实例三个角色（组件）
2、配置三个觉得的属性
a1.sources.r1.type=exec a1.sources.r1.command=tail -F 文件路径+文件名称
a1.sinks.k1.type=avro
a1.sinks.k1.hostname=192.168.100.202
a1.sinks.k1.port=4141

3、建立联系
在第二节点实例agent
1、实例三个角色（组件）
2、配置三个觉得的属性
a1.sources.r1.type=avro
a1.sources.r1.bind=192.168.100.202
a1.sources.r1.port=4141
a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=hdfs://node01:8020/avro

第一步：node02安装flume
将node01上安装好的flume拷贝到node02

cd  /export/serversscp -r apache-flume-1.8.0-bin/ node02:$PWD

第二步：node01配置flume配置文件
在node01节点上配置flume

cd /export/servers/apache-flume-1.8.0-bin/conf
vim tail-avro-avro-logger.conft

##################
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = exec
# 创建被tail -F 监控的路径和文件
a1.sources.r1.command = tail -F /export/servers/taillogs/access_log
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
##sink端的avro是一个数据发送者--node02的ip
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = 192.168.100.202
a1.sinks.k1.port = 4141

#Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

第三步:node02开放定脚本文件写入数据
直接将node01下面的脚本和数据拷贝到node02即可，node01机器上执行以下命令

cd /export/servers/
scp -r shells/ taillogs/ node02:$PWD

第四步:node02开放flume配置文件
在node02机器上开发flume的配置文件

cd /export/servers/apache-flume-1.8.0-bin/conf
vim avro-hdfs.conf

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
##source中的avro组件是一个接收者服务--node02的ip
a1.sources.r1.type = avro
a1.sources.r1.bind = 192.168.100.202
a1.sources.r1.port = 4141
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://node01:8020/avro
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

第五步：顺序启动
node02机器启动flume进程

cd /export/servers/apache-flume-1.8.0-bin

bin/flume-ng agent -c conf -f conf/avro-hdfs.conf -n a1  -Dflume.root.logger=INFO,console

node01机器启动flume进程

cd /export/servers/apache-flume-1.8.0-bin

bin/flume-ng agent -c conf -f conf/tail-avro-avro-logger.conf -n a1  -Dflume.root.logger=INFO,console

node02节点上启动shell脚本生成文件

mkdir /export/taillogs/
cd  /export/servers/shells
sh tail-file.sh
案例五 故障移除（高可用Flum-NG配置案例failover）

在这里插入图片描述

第一步： 在第一个节点上配置agent的配置文件
cd /export/servers/apache-flume-1.8.0-bin/conf
vim agent.conf

#agent1 name
agent1.channels = c1
agent1.sources = r1
agent1.sinks = k1 k2
#
##set gruop
agent1.sinkgroups = g1
##set sink group
agent1.sinkgroups.g1.sinks = k1 k2
#
agent1.sources.r1.type = exec
agent1.sources.r1.command = tail -F /export/servers/taillogs/access_log
#
##set channel
agent1.channels.c1.type = memory
agent1.channels.c1.capacity = 1000
agent1.channels.c1.transactionCapacity = 100
## set sink1
agent1.sinks.k1.type = avro
agent1.sinks.k1.hostname = node02
agent1.sinks.k1.port = 52020
#
## set sink2
agent1.sinks.k2.type = avro
agent1.sinks.k2.hostname = node03
agent1.sinks.k2.port = 52020
#
##set failover
agent1.sinkgroups.g1.processor.type = failover
agent1.sinkgroups.g1.processor.priority.k1 = 2
agent1.sinkgroups.g1.processor.priority.k2 = 1
agent1.sinkgroups.g1.processor.maxpenalty = 10000
#
agent1.sources.r1.channels = c1
agent1.sinks.k1.channel = c1
agent1.sinks.k2.channel = c1

maxpenalty故障转移的默认时间

node02机器修改配置文件

cd /export/servers/apache-flume-1.8.0-bin/conf
vim collector.conf

#set Agent name
a1.sources = r1
a1.channels = c1
a1.sinks = k1
## other node,nna to nns
a1.sources.r1.type = avro
a1.sources.r1.bind = node02
a1.sources.r1.port = 52020
##set channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
#
##set sink to hdfs
a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path= hdfs://node01:8020/flume/failover/


a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

node03机器修改配置文件
cd /export/servers/apache-flume-1.8.0-bin/conf
vim collector.conf

#set Agent name
a1.sources = r1
a1.channels = c1
a1.sinks = k1
## other node,nna to nns
a1.sources.r1.type = avro
a1.sources.r1.bind = node03
a1.sources.r1.port = 52020
##set channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
#
##set sink to hdfs
a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path= hdfs://node01:8020/flume/failover/


a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

顺序启动命令

node03机器上面启动flume

cd /export/servers/apache-flume-1.8.0-bin

bin/flume-ng agent -n a1 -c conf -f conf/collector.conf -Dflume.root.logger=DEBUG,console

node02机器上面启动flume

cd /export/servers/apache-flume-1.8.0-bin

bin/flume-ng agent -n a1 -c conf -f conf/collector.conf -Dflume.root.logger=DEBUG,console

node01机器上面启动flume

cd /export/servers/apache-flume-1.8.0-bin

bin/flume-ng agent -n agent1 -c conf -f conf/agent.conf -Dflume.root.logger=DEBUG,console

node01机器启动文件产生脚本
cd /export/shells
sh tail-file.sh

案例六 flume的负载均衡 load balancer

负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。Load balancing Sink Processor 能够实现 load balance 功能，如下图Agent1 是一个路由节点，负责将 Channel 暂存的 Event 均衡到对应的多个 Sink组件上，而每个 Sink 组件分别连接到一个独立的 Agent 上，示例配置，如下所示：
在这里插入图片描述
在此处我们通过三台机器来进行模拟flume的负载均衡
三台机器规划如下：
node01：采集数据，发送到node02和node03机器上去
node02：接收node01的部分数据
node03：接收node01的部分数据

第一步：开发node01服务器的flume配置
node01服务器配置:

cd /export/servers/apache-flume-1.8.0-bin/conf
vim load_banlancer_client.conf

#agent name
a1.channels = c1
a1.sources = r1
a1.sinks = k1 k2
#set gruop
a1.sinkgroups = g1
#set sink group
a1.sinkgroups.g1.sinks = k1 k2
#set sources
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /export/servers/taillogs/access_log
#set channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# set sink1
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = node02
a1.sinks.k1.port = 52021
# set sink2
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = node03
a1.sinks.k2.port = 52021
#set failover
a1.sinkgroups.g1.processor.type = load_balance
a1.sinkgroups.g1.processor.backoff = true
a1.sinkgroups.g1.processor.selector = round_robin
a1.sinkgroups.g1.processor.selector.maxTimeOut=10000
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c1

第二步：开发node02服务器的flume配置

cd /export/servers/apache-flume-1.8.0-bin/conf
vim load_banlancer_server.conf

# Name the components on this agent
a1.sources = r1
a1.sinks = k1:x
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = avroi
a1.sources.r1.bind = node02
a1.sources.r1.port = 52021
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Describe the sink
a1.sinks.k1.type = logger
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

第三步：开发node03服务器flume配置
node03服务器配置

cd /export/servers/apache-flume-1.8.0-bin/conf
vim load_banlancer_server.conf

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.bind = node03
a1.sources.r1.port = 52021
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Describe the sink
a1.sinks.k1.type = logger
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

第四步：准备启动flume服务
启动node03的flume服务

cd /export/servers/apache-flume-1.8.0-bin/conf

bin/flume-ng agent -n a1 -c conf -f conf/load_banlancer_server.conf -Dflume.root.logger=DEBUG,console

启动node02的flume服务

cd /export/servers/apache-flume-1.8.0-bin/conf

bin/flume-ng agent -n a1 -c conf -f conf/load_banlancer_server.conf -Dflume.root.logger=DEBUG,console

启动node01的flume服务

cd /export/servers/apache-flume-1.8.0-bin/conf

bin/flume-ng agent -n a1 -c conf -f conf/load_banlancer_client.conf -Dflume.root.logger=DEBUG,console

第五步：node01服务器运行脚本产生数据

cd /export/shells
sh tail-file.sh

案例七：flume过滤器
  1. 案例场景
    A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log
    现在要求：
    把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。
    但是在hdfs中要求的目录为：
    /source/logs/access/20180101/**
    /source/logs/nginx/20180101/**
    /source/logs/web/20180101/**
  2. 场景分析
    在这里插入图片描述
  3. 数据流程处理分析在这里插入图片描述
    4、实现
    服务器A对应的IP为 192.168.100.201
    服务器B对应的IP为 192.168.100.202
    服务器C对应的IP为 192.168.100.203

采集端配置文件开发
node01与node02服务器开发flume的配置文件
cd /export/servers/apache-flume-1.8.0-bin/conf
vim exec_source_avro_sink.conf

# Name the components on this agent
a1.sources = r1 r2 r3
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /export/taillogs/access.log
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = static
##  static拦截器的功能就是往采集到的数据的header中插入自己定## 义的key-value对
a1.sources.r1.interceptors.i1.key = type
a1.sources.r1.interceptors.i1.value = access
a1.sources.r2.type = exec
a1.sources.r2.command = tail -F /export/taillogs/nginx.log
a1.sources.r2.interceptors = i2
a1.sources.r2.interceptors.i2.type = static
a1.sources.r2.interceptors.i2.key = type
a1.sources.r2.interceptors.i2.value = nginx
a1.sources.r3.type = exec
a1.sources.r3.command = tail -F /export/taillogs/web.log
a1.sources.r3.interceptors = i3
a1.sources.r3.interceptors.i3.type = static
a1.sources.r3.interceptors.i3.key = type
a1.sources.r3.interceptors.i3.value = web
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 20000
a1.channels.c1.transactionCapacity = 10000
# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = node03
a1.sinks.k1.port = 41414
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sources.r2.channels = c1
a1.sources.r3.channels = c1
a1.sinks.k1.channel = c1

注：
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = static
static拦截器的功能就是往采集到的数据的header中插入自己定## 义的key-value对

a1.sources.r1.interceptors.i1.key = type
a1.sources.r1.interceptors.i1.value = access
服务端配置文件开发
在node03上面开发flume配置文件
cd /export/servers/apache-flume-1.8.0-bin/conf
vim avro_source_hdfs_sink.conf

a1.sources = r1
a1.sinks = k1
a1.channels = c1
#定义source
a1.sources.r1.type = avro
a1.sources.r1.bind = 192.168.100.203
a1.sources.r1.port =41414
#添加时间拦截器
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = org.apache.flume.interceptor.TimestampInterceptor$Builder
#定义channels
a1.channels.c1.type = memory
a1.channels.c1.capacity = 20000
a1.channels.c1.transactionCapacity = 10000
#定义sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path=hdfs://192.168.100.201:8020/source/logs/%{type}/%Y%m%d
#组装source、channel、sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

采集端文件生成脚本（这个文件写的路径看自己）
在node01与node02上面开发shell脚本，模拟数据生成
cd /export/servers/shells
vim server.sh

#!/bin/bash
while true
do  
date >> /export/servers/taillogs/access.log;
date >> /export/servers/taillogs/web.log;
date >> /export/servers/taillogs/nginx.log;
  sleep 0.5;
done

顺序启动服务
node03启动flume实现数据收集

cd /export/servers/apache-flume-1.8.0-bin/

bin/flume-ng agent -c conf -f conf/avro_source_hdfs_sink.conf -name a1 -Dflume.root.logger=DEBUG,console

node01与node02启动flume实现数据监控

cd /export/servers/apache-flume-1.8.0-bin/

bin/flume-ng agent -c conf -f conf/exec_source_avro_sink.conf -name a1 -Dflume.root.logger=DEBUG,console

node01与node02启动生成文件脚本
cd /export/shells
sh server.sh
5、项目实现截图

在这里插入图片描述

在这里插入图片描述

Flume实战案例 采集目录到HDFS
weixin_45774195的博客
12-11 489
1.2.1 Flume接受telent数据 案例：使用网络telent命令向一台机器发送一些网络数据，然后通过flume采集网络端口数据 第一步：开发配置文件 根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义) 配置我们的网络收集的配置文件 在flume的conf目录下新建一个配置文件（采集方案） vim /export/servers/apache-flume-1.6....
Apache Flume(概述->Flume安装部署->Flume简单案例)
汉子一枚
12-05 1529
1．概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。 Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。 Flume支持定制各类数据...
flume_多sources配置
天蓬元帅的博客
10-19 4313
node01 ,node02 机器分别将监控其目录下的三个文件，如果三个文件发生变化就将数据发送给node03进行hdfs保存 A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log 现在要求： 把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。 第一步：配置node01和n...
[Hadoop] CentOS7 安装flume-ng-1.6.0-cdh5.7.0
Cindy的博客
09-29 1318
  1. Flume Flume官方文档：http://flume.apache.org/FlumeUserGuide.html Flume官方文档(CDH指定版本)：http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0/ Flume是一个分布式的日志收集框架，针对日志数据进行采集汇总，把日志从A地方搬运到B地方去。 ...
大数据-Flume（二）
海恋北斗星
03-27 319
大数据-Flume（四） 高可用Flum-NG配置案例failover 在完成单点的Flume NG搭建后，下面我们搭建一个高可用的Flume NG集群，架构图如下所示： 图中，我们可以看出，Flume的存储可以支持多种，这里只列举了HDFS和Kafka（如：存储最新的一周日志，并给Storm系统提供实时日志流）。...
大数据-Apache Flume
m0_58818478的博客
01-11 350
文章目录Apache Flume1． 概述2．运行机制1.1． 简单结构1.2． 复杂结构4. Flume安装部署5.flume初体验练习案例Source练习1.avro2.Spooldir3.采集目录到HDFS4.采集文件到HDFS开发shell脚本定时追加文件内容5.TailDir的使用集群部署案例练习多级扇入(fan-in)扇出(fanout) Apache Flume 1． 概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。 Flume的核心是把
Flume1.6.0入门：安装、部署、及flume的案例
01-07
### Flume 1.6.0 入门详解：安装、部署及案例分析 #### 一、Flume 概述 Flume 是 Cloudera 开发的一款高效、可靠且易于扩展的日志收集系统，适用于大数据环境下的日志采集任务。Flume 的初始版本被称为 FlumeOG...
Apache Flume 简单案例
qq_45798620的博客
12-03 128
Apache Flume 简单案例采集目录到HDFS采集文件到HDFS两个agent级联 采集目录到HDFS 采集需求：服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 根据需求，首先定义以下3大要素 采集源，即source——监控文件目录 : spooldir 下沉目标，即sink——HDFS文件系统 : hdfs sink source和sink之间的传递通道——channel，可用file channel 也可以用内存channel 采集目录到HDF
Apache Flume 1.5.0 教程：安装、配置与案例解析
"Flume1.5.0入门：安装、部署、及flume的案例" Apache Flume 是一个专门用于高效、可靠地收集、聚合和移动大量日志数据的工具。它最初由Cloudera开发，后来成为Apache软件基金会的一个项目。Flume 1.5.0是其某个...
Apache Flume（2）： Flume简单案例
u013938578的博客
07-04 332
采集需求：服务器的某特定目录下，会不断产生新的文件，每当有新文件出现， 就需要把文件采集到 HDFS 中去 根据需求，首先定义以下 3 大要素 采集源，即source——监控文件目录 : spooldir 下沉目标，即sink——HDFS文件系统 : hdfs sink source和sink之间的传递通道——channel，可用file channel也可以用内存channel # Name the components on this agent a1.sources = r1 a1.s..
Apache Flume组件
qq_37108736的博客
03-27 180
Apache Flume组件 一、基础组件 1、Source-输⼊源 ①、Avro Source(接受avro协议数据) 内部启动⼀个Avro 服务器，⽤于接收来⾃Avro Client的请求，并且将接收数据存储到Chanel中。 属性 默认值 含义 channels 需要对接Channel type 表示组件类型，必须给 avro bind 绑定IP port ...
02.大数据为什么快
qq_43742212的博客
10-31 1659
大数据比传统数据快 大数据比传统数据快的原因 图形介绍： 1.传统数据纵向扩展 服务器数量不变，配置越来越高（发生变化，配置有上限） 大数据横向扩展 配置不变，服务器数量越来越多 （发生变化，服务器数量有钱就无上限） 2.传统数据资源（cpu/内存/硬盘）集中 大数据资源（cpu/内存/硬盘）分布(前提：同等配置下) 3.传统数据单份...
04.大数据集群安装部署 (二 ) 安装hadoop 小白必看
qq_43742212的博客
11-04 1542
(友情提示以下下面创建的路径跟我写的一样操作起来更便捷,同时主机名设置成node01,node02,node03) 第一步:上传压缩包并解压文件 创建一个文件存放压缩包：mkdir -p /export/soft 创建一个文件夹存放解压包：mkdir -p /export/servers 解压文件到指定文件中 tar -zxvf hadoop-2.6.0-cdh5.14.0.tar....
03.大数据集群安装部署(一) linux环境安装 小白必看
qq_43742212的博客
10-31 1524
准备一台服务器进行下面操作之后再克隆 或者克隆之后进行下面操作然后把相对应的文件远程连接复制到其他服务器中 （拷贝多个的时候 scp -r） 注意：ip和主机名之后再设置更这个配置里面一样就行了 第一步：准备一台服务器克隆 第二步：远程连接打开selinux文件 vim /etc/selinux/config 第三步：关闭防火墙，设置开启不自启 /etc/init.d/iptables sto...
14.Hadoop之MapReduce（二）
qq_43742212的博客
11-18 1517
Shuffle(混洗) shuffle 输入是key value的 list shuffle 输出是key value的list MapReduce计算任务的步骤 第1步：InputFormat InputFormat 到hdfs上读取数据 将数据传给Split 第2步：Split Split将数据进行逻辑切分 将数据传给RR 第3步：RR RR:将传入的数据转换成一行一行的数据，输出行首字母偏移...
01、Sqoop的介绍和安装
qq_43742212的博客
11-28 1469
1.Sqoop安装 安装sqoop的前提是已经具备java和hadoop的环境。 第一步：上传压缩包 解压 tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha -C /export/servers 第二步：在文件里面添加配置 cd /export/servers/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf mv sqo...
02、Apache Flume概念和安装
qq_43742212的博客
12-05 1438
一、Apache Flume 1、概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件 Flume的核心把数据从数据源(Source)收集过来,再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在数据送到目的地(sink)后，flume在删除主键缓存的数据。 2、运行机制 Flume系统中核心的角色是agent，agent本...
01.大数据入门知识
qq_43742212的博客
10-25 1421
大数据 ：指数据集的大小超过了现有典型的数据库软件和工具的处理能力的数据。 大数据的主要特点： 海量化 TB到PB级别 多样化 非结构化，半结构化，结构化.. 快速化 处理速度快 高价值 快速分析下发挥更高的数据价值 大数据能做什么: 1.海量数据快速查询 2.海量数据的存储(数据量大,单个大文件) 3.海量数据快速计算...
【零基础小白】 window环境下安装RabbitMQ
最新发布
许苑向上
11-06 219
RabbitMQ是用编写的，因此在安装RabbitMQ之前，需要先安装Erlang环境。确定Erlang版本：根据具体需求以及安装符合的Erlang版本。本文下载的故而下载Erlang版本之间的，打开系统属性：右键点击“此电脑”或“计算机”图标，选择“属性”，然后点击“高级系统设置”。编辑环境变量：在“系统属性”窗口中，点击“环境变量”按钮。编辑Path变量：同样在“系统变量”区域，找到名为Path的变量并选择它，然后点击“编辑”按钮。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值