关闭

CDH配置启动flume

1308人阅读 评论(0) 收藏 举报
分类:

目录:

一、如何使用flume

二、进入配置管理

三、关于配置文件

四、flume二次开发

—————————————————————————————————————-

请提前参考我的Flume博客:

http://blog.csdn.net/silentwolfyh/article/category/6186343

一、如何使用flume

在CDH界面添加服务,选择flume之后选择主机,flume服务就启动了,下面就是配置参数

二、进入配置管理

这里写图片描述

三、关于配置文件

有些网友在配置flume的时候,配置文件保存正常没有报错,但是hdfs上就没有数据,

原因是因为,CDH的 cloudera-monitor.properties里配置agent_name,所以我们配置的时候需要使用这个名字,

cloudera-monitor.properties文件内容
[agent]
host = hadoop05.test
service_name = flume
service_version = 5
service_release = 5.5.1
role_name = flume-AGENT-b0f62894530a4576a0548de37a772fa7
collect_interval = 60
log_dir = /var/log/flume-ng
flume_http_port = 41414
agent_name = tier1
这里写图片描述

flume.conf配置文件
tier1.sources=r1
tier1.sinks=k1
tier1.channels=c1

tier1.sources.r1.type=spooldir
tier1.sources.r1.spoolDir=/var/lib/hadoop-hdfs/logs
tier1.sources.r1.channels=c1
tier1.sources.r1.fileHeader=false

tier1.sinks.k1.type=hdfs
tier1.sinks.k1.hdfs.path=hdfs://nameservice1/user/hdfs/logs
tier1.sinks.k1.hdfs.fileType=DataStream
tier1.sinks.k1.hdfs.writeFormat=TEXT
tier1.sinks.k1.hdfs.rollInterval=60
tier1.sinks.k1.channel=c1

tier1.channels.c1.type=file
tier1.channels.c1.checkpointDir=./file_channel/checkpoint

tier1.channels.c1.dataDirs=./file_channel/data

四、flume二次开发

根据自己的业务需求,收集日志文件,还可以自己开发修改flume的源代码,满足自己的需求。

二次开发参考:https://github.com/huyanping/flume-sinks-safe-roll-file-sink

       如果您喜欢我写的博文,读后觉得收获很大,不妨小额赞助我一下,让我有动力继续写出高质量的博文,感谢您的赞赏!!!

0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

在clouder manager中使用Flume处理数据链

目标: 在Cloudera Manager中创建两个Flume的Agent,Agent1从local file中获取内容,写入到kafka的队列中。Agent2以Agent1的sink作为source,将数据从kafka中读取出来,写入到HDFS中。 注意 我的Cloudera Mana...
  • u014728303
  • u014728303
  • 2016-12-06 15:02
  • 1443

cdh5.5.1 配置启动flume

一、如何使用flume 在CDH界面添加服务,选择flume之后选择主机,flume服务就启动了,下面就是配置参数 二、关于配置文件 有些网友在配置flume的时候,配置文件保存正常没有报错,但是hdfs上就没有数据, 原因是因为,CDH的 cloudera-monitor.prop...
  • levy_cui
  • levy_cui
  • 2016-08-11 16:15
  • 2351

cdh5.4.7 flume使用

一,如何使用flume flume的原理和使用 二,关于配置文件 可以知道, cloudera-monitor.properties里配置agent_name来使用。flume.conf里面设置具体的agent信息。
  • onlyForCloud
  • onlyForCloud
  • 2015-11-06 09:31
  • 1743

Flume安装及简单部署

简要介绍Flume的工作原理、安装及部署。
  • carl810224
  • carl810224
  • 2016-09-08 16:29
  • 7879

Flume基本配置

这种模式,有两种方式,一种是用来复制(Replication),另一种是用来分流(Multiplexing)。Replication方式,可以将最前端的数据源复制多份,分别传递到多个channel中,每个channel接收到的数据都是相同的。 配置格式示例如下: # List the sou...
  • qq_24908345
  • qq_24908345
  • 2016-11-18 14:00
  • 767

CDH5.1从采集(Flume)到索引(Solr)

众所周知,CDH是Cloudera公司推出的基于稳定版的ApachHadoop环境。并且比官方的Hadoop更新更快。坚持季度update,年度release。其中集成的Hadoop生态系统中的所有组件互相兼容,并坚持更新其中的bug和feature,在学习测试、生产环境中都有很好的应用。 如果在...
  • zh_yi
  • zh_yi
  • 2015-04-08 22:33
  • 5015

在clouder manager中使用Flume处理数据链

目标: 在Cloudera Manager中创建两个Flume的Agent,Agent1从local file中获取内容,写入到kafka的队列中。Agent2以Agent1的sink作为source,将数据从kafka中读取出来,写入到HDFS中。 注意 我的Cloudera Mana...
  • u014728303
  • u014728303
  • 2016-12-06 15:02
  • 1443

Flume安装及简单部署

简要介绍Flume的工作原理、安装及部署。
  • carl810224
  • carl810224
  • 2016-09-08 16:29
  • 7879

flume集群建设方案

Flume集群 Flume介绍     Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 Flume的逻辑架构:...
  • lzshentibang
  • lzshentibang
  • 2014-05-15 16:12
  • 370

Flume安装及GitHub使用

一、Flume的安装部署 下载解压tar -zxvf flume-ng-1.5.0-cdh5.3.6.tar.gz -C /opt/cdh-5.3.6/ 重命名mv apache-flume-1.5.0-cdh5.3.6-bin flume-1.5.0-cdh5.3.6-bin 修改配置文件 fl...
  • haoyuexihuai
  • haoyuexihuai
  • 2016-12-04 20:31
  • 627
    【个人简介】
    姓名:余辉

    地点:北京昌平

    学历:中科院硕士

    QQ :348835027

    微信:silentwolfyh

    我的新书【点击图片】
    (京东)(天猫)(当当)

    本书QQ群:275243793
    个人资料
    • 访问:481896次
    • 积分:7518
    • 等级:
    • 排名:第3380名
    • 原创:282篇
    • 转载:23篇
    • 译文:24篇
    • 评论:93条
    博客专栏