flume服务搭建

                        Flume

1. 把flume的镜像包拖到/opt/so下
2. 解压镜像包：tar -zxvf apache-flume-1.11.0-bin.tar.gz -C /opt/zz
3. 配置flume-env.sh

Cd /opt/zz/flume/conf

Mv flume-env.sh.template  flume-env.sh

Vim flume-env.sh

1. 配置环境变量：vim  /etc/profile

#flume

export FLUME_HOME=/opt/module/flume

export PATH=$PATH:$FLUME_HOME/bin

export FLUME_CONF_DIR=opt/module/flume/conf

1. 环境变量生效：source /etc/profile
2. 查看版本号：flume-ng  version

若出现版本号则代表flume部署成功

1. 测试：

1. 在conf：底下创建：vim netcat-logger.conf
2. 进入编辑：

# Name the components on this agent

a1.sources = r1

a1.sinks = k1

a1.channels = c1

# Describe/configure the source

a1.sources.r1.type = netcat

a1.sources.r1.bind = localhost

a1.sources.r1.port = 44444

# Describe the sink

a1.sinks.k1.type = logger

# Use a channel which buffers events in memory

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

1. 安装nc工具：yum install -y nc
2. 到bin下启动：

bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console

1. 启动后会卡住：
2. 复制一个窗口：telnet localhost 2181  如果显示未找到命令则查看是否安装: telnet-server: rpm -qa telnet-server
3. 如果没有则安之：rpm -qa telnet-server
4. 再安装telnet：yum install telnet
5. 有telnet在任意地址输入：telnet localhost 44444
6. 此时输入任何字符，都会以event的数据单元发送，可以在原先的第一个窗口查看
7. 监听一个指定的网络端口，即只要应用程序向这个端口里面写数据，这个source组件就可以获取到信息
8. Exec Source: 监听一个指定的命令，获取一条命令的结果作为它的数据源

flume解压包：点击下载

提取码：1771