RedHat6.5安装单机flume1.6

版本号:

RedHat6.5   JDK1.8   apache-flume-1.6.0

1.apache-flume-1.6.0-bin.tar.gz 下载

官网下载地址:http://archive.apache.org/dist/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz

百度云盘下载地址:链接:http://pan.baidu.com/s/1pKPah0f 密码:ovbe

2.安装

新建一个/usr/local/flume目录,上传apache-flume-1.6.0-bin.tar.gz,解压:

mkdir /usr/local/flume
tar -xvf  /usr/local/flume/apache-flume-1.6.0-bin.tar.gz

如图:

3.配置 /etc/profile

sudo gedit /etc/profile

 
 
  1. #set flume environment
  2. export FLUME_HOME=/usr/local/flume/apache-flume-1.6.0-bin
  3. export FLUME_CONF_DIR=$FLUME_HOME/conf
  4. export PATH=$FLUME_HOME/bin:$PATH

source /etc/profile

4.配置flume JAVA_HOME

把flume-env.sh.template重命名为flume-env.sh,往里添加

cd /usr/local/flume/apache-flume-1.6.0-bin/conf

cp flume-env.sh.template flume-env.sh

sudo gedit flume-env.sh

 
 
  1. export JAVA_HOME=/usr/local/java/jdk1.8

检验

/usr/local/flume/apache-flume-1.6.0-bin/bin/flume-ng version

 
 
  1.  [root@master conf]# /usr/local/flume/apache-flume-1.6.0-bin/bin/flume-ng version
  2. Flume 1.6.0
  3. Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
  4. Revision: 2561a23240a71ba20bf288c7c2cda88f443c2080
  5. Compiled by hshreedharan on Mon May 11 11:15:44 PDT 2015
  6. From source with checksum b29e416802ce9ece3269d34233baf43f
  7. [root@master conf]# 

5. 简单测试示例

5.1 添加配置文件

 
 
  1. touch /usr/local/flume/apache-flume-1.6.0-bin/conf/flume.conf
  2. sudo gedit /usr/local/flume/apache-flume-1.6.0-bin/conf/flume.conf
flume.conf输入以下内容:
  
  
  1. # 指定Agent的组件名称
  2. agent1.sources = source1
  3. agent1.sinks = sink1
  4. agent1.channels = channel1
  5.  
  6. # 指定Flume source(要监听的路径)
  7. agent1.sources.source1.type = spooldir
  8. agent1.sources.source1.spoolDir= /usr/local/flume/logtest
  9.  
  10. # 指定Flume sink
  11. agent1.sinks.sink1.type = logger
  12.  
  13. # 指定Flume channel
  14. agent1.channels.channel1.type = memory
  15. agent1.channels.channel1.capacity = 1000
  16. agent1.channels.channel1.transactionCapacity = 100
  17.  
  18. # 绑定source和sink到channel上
  19. agent1.sources.source1.channels = channel1
  20. agent1.sinks.sink1.channel = channel1

在/usr/local/flume目录下新建一个logtest目录:

mkdir /usr/local/flume/logtest

5.2 启动flume agent

  
  
  1. cd /usr/local/flume/apache-flume-1.6.0-bin
  2. bin/flume-ng agent --conf conf --conf-file conf/flume.conf --name agent1 -Dflume.root.logger=INFO,console
参数作用举例
–conf 或 -c 指定配置文件夹,包含flume-env.sh和log4j的配置文件–conf conf
–conf-file 或 -f 配置文件地址–conf-file conf/flume.conf
–name 或 -n agent名称    –name agent1
-z zookeeper连接字符串-z zkhost:2181,zkhost1:2181
-p zookeeper中的存储路径前缀-p /flume 

5.3 写入日志内容

在/usr/local/flume目录下面新建一个testFlume.log日志文件,写入Hello Flume.作为测试内容:
 
 
  1. touch /usr/local/flume/testFlume.log
  2. sudo gedit /usr/local/flume/testFlume.log
 
 
然后拷贝到flume监听路径/usr/local/flume/logtest下:
  
  
  1. cp /usr/local/flume/testFlume.log /usr/local/flume/logtest
接着就可以在前一个终端看到刚刚采集的内容了,如下:
  
  
  1. 2017-07-07 21:15:59,063 (pool-3-thread-1) [INFO - org.apache.flume.client.avro.ReliableSpoolingFileEventReader.rollCurrentFile(ReliableSpoolingFileEventReader.java:348)] Preparing to move file /usr/local/flume/logtest/testFlume.log to /usr/local/flume/logtest/testFlume.log.COMPLETED
  2. 2017-07-07 21:16:00,841 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 48 65 6C 6C 6F 20 46 6C 75 6D 65 2E             Hello Flume. }
 
Flume成功安装,666!
内容概要:本文详细介绍了使用KGDB(Kernel GNU Debugger)调试Linux内核的方法及其重要性。文章首先强调了Linux内核作为系统核心的重要性及其调试的必要性,随后介绍了KGDB的基本原理和优势,包括其基于调试stub和GDB串行协议的工作机制。接着,文章详细描述了使用KGDB调试内核的具体步骤,包括准备工作、内核配置、设置启动参数、建立调试连接和进行调试操作。文中还通过一个实战案例展示了KGDB在解决实际问题中的应用,并总结了使用KGDB时的注意事项和常见问题的解决方法。最后,文章展望了KGDB未来的发展方向和应用场景,如优化调试性能、支持新型硬件架构以及在嵌入式系统、云计算和大数据领域的应用。 适合人群:具备一定Linux系统开发经验的研发人员,尤其是那些需要调试和优化Linux内核的工程师。 使用场景及目标:①帮助开发者深入了解Linux内核的运行状态,精准定位并修复内核问题;②优化内核性能,提高系统的稳定性和可靠性;③适用于嵌入式系统开发、远程服务器维护等场景,特别是在硬件资源有限或无法直接接触设备的情况下。 其他说明:在使用KGDB进行调试时,需特别注意串口设置的一致性、内核版本的兼容性以及调试信息的完整性。同时,要解决常见的连接失败、断点无效等问题,确保调试过程顺利进行。未来,KGDB有望在技术上不断优化,并拓展到更多应用场景中,为Linux系统的持续发展提供支持。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值