storm
文章平均质量分 88
影夜life
这个作者很懒,什么都没留下…
展开
-
Storm简介
1. 架构1.1 简介分布式 && 实时 计算系统。storm对于实时计算的意义类似于hadoop对于批处理的意义。storm的流式处理计算模式保证了任务能够只进行一次初始化,就能够持续计算,同时使用了ZeroMQ(Netty)作为底层消息队列,有效地提高了整体架构的数据处理效率,避免了Hadoop的瓶颈。Storm的适用场景: 流数据处理,Storm可以用来处理源源不断流进来的消息,处理之后将结果转载 2016-10-14 12:02:28 · 494 阅读 · 0 评论 -
Flume、Kafka与Storm实现日志处理
1. ZooKeeper安装参考2. Kafka2.1 解压安装# 确保scala已经安装好,本文安装的是2.11.7 tar -xf kafka_2.11-0.9.0.1.tgz cd kafka_2.11-0.9.0.1 mkdir logsvim ~/.bash_profileexport KAFKA_HOME=/home/zkpk/kafka_2.11-0.9.0.1 export PATH原创 2016-10-19 21:47:25 · 4969 阅读 · 2 评论