flume-ng
luyee2010
这个作者很懒,什么都没留下…
展开
-
Flume-Kafka-Storm 整合实例
启动Topology作为Kafka的comsumerbin/storm jar storm-kafka-App-0.1.0-SNAPSHOT-jar-with-dependencies.jar com.exec.storm.kafka.KafKaSpoutTopologyTest 192.168.137.10:2181启动flume-kafka的producerbin/flume原创 2014-01-24 15:39:24 · 10090 阅读 · 9 评论 -
flume-ng-extends
这个可以taildir文件,监听文件目录写入事件,只要往这个目录写入文件就能触发首先需要flume-ng-extends:从获取源代码 https://github.com/jinoos/flume-ng-extends,maven编译打包将flume-ng-extends-0.0.1-SNAPSHOT.jar,另外还要下载commons-vfs2-2.0.jar这个jar包(这个不然原创 2014-01-17 20:31:22 · 3110 阅读 · 1 评论 -
Storm Found multiple defaults.yaml resources
运行storm-kafka应用程序的的时候报了这个错这个想了下,肿么会有多个呢,后面觉得应该是在应用的jar包里面也把storm的defaultsyarm打进去了。找了下只看到 storm storm 0.9.0原创 2014-01-18 17:55:15 · 12277 阅读 · 0 评论 -
Logstash+Redis+Elasticsearch+Kibana 快速搭建Nginx日志查询系统
Logstash+Redis+Elasticsearch+Kibana Nginx日志查询系统环境elasticsearch-0.90.5.zipkibana-latest.zipredis-2.6.16.tar.gzlogstash-1.2.2-flatjar.jarnginx.conf配置log_format main '$remote_addr - $rem原创 2014-03-28 18:29:56 · 19041 阅读 · 4 评论 -
Flume 收集Nginx日志到Hdfs Tail-to-hdfs sink
nginx,access.log日志约8000条/s,每100w条数据约253M,需要2minagent1.sources = source1agent1.sinks = sink1agent1.channels = channel1# Describe/configure spooldir source1#agent1.sources.source1.type = spoold原创 2014-03-26 11:04:15 · 6441 阅读 · 2 评论 -
Flume 收集Nginx日志 tail-to-avro avro-to-file
tail-to-avroagent1.sources = source1agent1.sinks = sink1agent1.channels = channel1# Describe/configure spooldir source1#agent1.sources.source1.type = spooldir#agent1.sources.source1.spoolDir =原创 2014-03-26 13:46:56 · 7370 阅读 · 4 评论 -
Log Processing With Storm
Learning storm book 笔记8有代码的书籍看起来就是爽,看完顺便跑个demo,感觉很爽!场景分析主要是利用apache的访问日志来进行分析统计 如用户的IP来源,来自哪个国家或地区,用户使用的Os,浏览器等信息,以及像搜索的热词等信息的统计 这里日志信息如下24.25.135.19 - - [1-01-2011:06:20:31 -0500] "GET原创 2014-12-11 01:59:43 · 4134 阅读 · 0 评论