storm流程
Levi_moon
这个作者很懒,什么都没留下…
展开
-
storm流程——flume
flume:实时日志收集系统,是日志收集之王。 flume的特性: (1)可靠性 (2)可伸缩性 (3)高性能 (4)可延展性 (5)开源社区的支持 flume的概念: (1)agent——>使用JVM 运行flume,每台机器运行一个agent,但是可以在一个 agent中包含多个sources和sinks。 (2)client——>生产数据,运行在一个独立的线程。 (3)so原创 2016-06-11 17:00:51 · 372 阅读 · 0 评论 -
storm流程——kafka
kafka是分布式发布-订阅消息系统,它是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。 1.kafka的特点: (1)它被设计为一个分布式系统,易于向外扩展; (2)它同时为发布和订阅提供高吞吐量; (3)它支持多订阅者,当失败时能自动平衡消费者; (4)它将消息持久化到磁盘,因此可用于批量消费,例如ETL,以及实时应用程序。 2.kafka包括以下组件:原创 2016-06-11 19:57:33 · 669 阅读 · 0 评论 -
storm流程——flume和kafka的连接
flume和kafka的连接参考博客:flume,kafka,storm,mysql的整合 若想连接起flume和kafka,需要在flume/conf目录下,创建一个.conf文件,在lib目录下添加相关jar包。 步骤: 1.在flume/conf目录下创建相关.conf文件, (1)创建flume2kafka.conf文件vi flume2kafka.conf(2)在flume2kaf原创 2016-06-11 20:30:59 · 567 阅读 · 0 评论 -
storm流程——storm
相关参考资料链接: storm框架入门 《storm入门》 storm是一个分布式的,可靠的,容错的数据流处理系统。它会把工作任务委托给不同类型的组件,每个组件负责处理一项简单特定的任务。Storm集群的输入流由一个被称作spout的组件管理,spout把数据传递给bolt, bolt要么把数据保存到某种存储器,要么把数据传递给其它的bolt。 1.storm的基本概念: (1)spout原创 2016-06-12 10:13:54 · 1047 阅读 · 0 评论