Flume
CodeM91
多年研发管理经验。熟练掌握Java,微服务,大数据,Scala,函数式编程相关。。
展开
-
大数据系列之Flume+HDFS
本文将介绍Flume(Spooling Directory Source) + HDFS,关于Flume 中几种Source详见文章 http://www.cnblogs.com/cnmenglang/p/6544081.html1.资料准备 : apache-flume-1.7.0-bin.tar.gz2.配置步骤: a.上传至用户(LZ用户mfz)目录resources下原创 2017-03-14 17:42:19 · 275 阅读 · 0 评论 -
大数据系列之Flume--几种不同的Sources
1.flume概念flume是分布式的,可靠的,高可用的,用于对不同来源的大量的日志数据进行有效收集、聚集和移动,并以集中式的数据存储的系统。flume目前是apache的一个顶级项目。flume需要java运行环境,要求java1.6以上,推荐java1.7.将下载好的flume安装包解压到指定目录即可。2.flume中的重要模型2.1.1.flume Event:flume 事件原创 2017-03-14 17:42:16 · 914 阅读 · 0 评论 -
大数据系列之Flume+kafka 整合
相关文章:大数据系列之Kafka安装 大数据系列之Flume--几种不同的Sources大数据系列之Flume+HDFS关于Flume 的 一些核心概念:组件名称 功能介绍 Agent代理 使用JVM 运行Flume。每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks。 Client客户端 生产数据,运行在...原创 2017-03-14 20:09:00 · 515 阅读 · 4 评论