flume
关注
分享
扫一扫
abothli
拥有五年的开发工作经验，曾从事过开发，分析，算法，人工智能，机器学习，运维的相关开发工作。
展开
-
flume的原理
Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.94.0 中，日志传输...原创 2018-07-02 00:04:22 · 1621 阅读 · 0 评论 -
kafka+flume+hdfs的flume配置文件
#agent命名a1.sources = r1a1.sinks = k1a1.channels = c1#sources配置a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSourcea1.sources.r1.zookeeperConnect = hadoop1:2181,hadoop2:2181,hadoop3:...原创 2018-09-10 18:17:36 · 682 阅读 · 0 评论 -
flume对接kafka时延迟和高吞吐量以及flume筛选日志
以下是我的flume配置文件，实现了低延迟，筛选功能# 命名a1.sources = r1a1.sinks = k1a1.channels = c1# sources配置a1.sources.r1.type = execa1.sources.r1.command = tail -F /root/flume.loga1.sources.r1.batchSize=1#a1.s...原创 2018-09-07 10:58:51 · 4056 阅读 · 0 评论 -
flume启动报错 Could not find or load main class org.apache.flume.node.Application
修改flume的文件夹名称后，启动flume可能会失败，错误信息如下：Error: Could not find or load main class org.apache.flume.node.Application这个是因为环境变量的问题。 export看一下是不是有个FLUME_HOME的环境变量指向原来的文件夹，如果是的话：unset FLUME_HOME 就行了...原创 2018-09-11 23:51:10 · 7153 阅读 · 1 评论 -
用shell写守护进程脚本
一个udhcpd与udhcpc的守护，目前只会用shell模仿编写，还有什么方法可以做守护呢？#! /bin/sh#进程名字可修改PRO_NAME=udhcpcWLAN=ra0 while true ; do # 用ps获取$PRO_NAME进程数量 NUM=`ps aux | grep ${PRO_NAME} | grep -v grep |wc -l`# ...原创 2018-09-11 15:23:00 · 4732 阅读 · 0 评论 -
flume连接kafka遇到ERROR - kafka.utils.Logging$class.error Producer connection to DEV33:9092 unsuccessful
1.下面这个问题挺坑的 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - kafka.utils.Logging$class.error(Logging.scala:97)] Failed to collate messages by topic, partition due to: Failed to fetch topic ...原创 2018-08-24 16:29:14 · 1682 阅读 · 0 评论 -
flume到kafka
1. kafka.properties： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 agent.sources = s1 ...原创 2018-08-24 10:07:01 · 753 阅读 · 0 评论 -
flume到spark-streaming时遇到Failed to bind to: /IP:PORT错误时解决办法
spark-streaming连接flume时报错org.jboss.netty.channel.ChannelException: Failed to bind to: /IP:PORT连接flume是通过JavaReceiverInputDStream<SparkFlumeEvent> flumeStream = FlumeUtils.createStream(jssc, ...原创 2018-08-23 22:09:52 · 1322 阅读 · 1 评论 -
用flume从日志服务器中实时抽数据的案例
日志服务器flume配置文件# example.conf: A single-node Flume configuration# Name the components on this agent# The name of the agent is defined as a1.a1.sources = r1a1.sinks = k1a1.channels = c1# Descr...原创 2018-08-22 15:46:53 · 658 阅读 · 0 评论 -
flume配置文件案例
案例1《《《《《《source-hive的log,channel-内存,sink:终端》》》》》》# The configuration file needs to define the sources, # the channels and the sinks.# Sources, channels and sinks are defined per a1, # in this ...原创 2018-08-22 15:42:14 · 191 阅读 · 0 评论 -
flume参数配置详解
一、什么是flumeFlume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。二、flume特点flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Ev...原创 2018-08-22 15:39:29 · 9219 阅读 · 1 评论 -
flume中hdfs sinks参数配置详解
Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。channel typehdfspath写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/可以使用flume提供的日期及%{host}表达式。filePrefix默认值：FlumeData写入hdfs的文件名前缀，可以使...原创 2018-08-22 15:38:21 · 2191 阅读 · 1 评论 -
flume的搭建
1[hadoop@hd1 ~]$ tar -zxvf flume-ng-1.6.0-cdh5.5.2.tar.gz -C /home/hadoop [hadoop@hd1 ~]$ vi .bash_profile添加：export FLUME_HOME=/home/hadoop/apache-flume-1.6.0-cdh5.5.2-binexport FLUME_CONF_DIR=$...原创 2018-07-06 02:15:55 · 189 阅读 · 0 评论 -
flume采集实战案例
Flume实战案例1.2.1 Flume的安装部署1、Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境上传安装包到数据源所在节点上然后解压 tar -zxvfapache-flume-1.6.0-bin.tar.gz然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME 2、根据数据采集的需求配置采集方案，描述在配置文件中(文...原创 2018-07-04 10:13:01 · 2164 阅读 · 0 评论 -
flume的运行机制是什么？
运行机制1、 Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成2、 每一个agent相当于一个数据传递员[M1] ，内部有三个组件：a) Source：采集源，用于跟数据源对接，以获取数据b) Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据c) Channel：an...原创 2018-07-04 10:12:47 · 1953 阅读 · 0 评论 -
flume的日志采集框架
在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示：日志采集框架Flume1.1 Flume介绍1.1.1 概述u Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。u Flume可以采集文件，socket...原创 2018-07-04 10:12:33 · 403 阅读 · 0 评论 -
单节点flume的搭建
1[hadoop@h91 ~]$ tar -zxvf flume-ng-1.2.0-cdh3u5.tar.gz [hadoop@h91 ~]$ vi .bash_profile添加：export FLUME_HOME=/home/hadoop/flume-ng-1.2.0-cdh3u5export FLUME_CONF_DIR=$FLUME_HOME/conf2[hadoop@h91 ~]$ cd...原创 2018-07-02 00:05:55 · 337 阅读 · 0 评论 -
flume报错flume java.lang.OutOfMemoryError: GC overhead limit exceeded
flumeJava内存溢出造成解决方案：vim /flume_app/apache-flume-1.6.0-bin/bin/flume-ng发现JAVA_OPTS="-Xmx20m" 把参数调大点就可以解决JAVA_OPTS="-Xmx2048m"原创 2018-11-08 13:36:48 · 920 阅读 · 0 评论