- 博客(3)
- 收藏
- 关注
原创 Storm 核心概念及工作原理
Strom 简介Apache Storm(http://storm.apache.org)是由Twitter 开源的分布式实时计算系统,Storm 可以非常容易并且可靠的处理无线的数据流,对比Hadoop的批处理,Storm是一个实时的、分布式的、具备高容错的计算系统。Storm的核心代码使用clojure书写,实用程序使用python开发,使用java开发拓扑。Storm 的使用场景非常广泛,比如
2017-11-10 10:38:28 2134
原创 Kafka 概述 核心组件及特性
什么是Kafka Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。 Kafka是一个分布式消息队列:生产者、消费者的功能。它提供了类似于JMS的特性,
2017-11-02 15:15:56 1583
原创 Flume初体验
需求:从网络端口接受数据,输出到控制台 Agent选型:netcat+source + memory channel + logger sink官网提供的配置# example.conf: A single-node Flume configuration# Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.cha
2017-11-02 15:04:23 723
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人