大数据处理点滴笔记

自我头脑风暴，说得对与错都请指点，后续补充。

 

当下三大技术热点：高并发、分布式、大数据（也许，还有很多，这只是自我修炼的三个目标）。

大数据处理系统有几点要求：

1. 低延迟
2. 高性能
3. 分布式
4. 可扩展（更多的要求是可横向扩展）
5. 容错

现在用的比较多的就是Hadoop、Storm。

 

Hadoop

1. 依赖于HDFS磁盘
2. 延时较高（可精确到小时）
3. 统计结果存在HBase

Storm

1. 依赖于内存计算
2. 延时较短（可以精确到10秒）
3. 统计结果存在MySQL

数据收集，交给Kafka

 

kafka是LinkedIn开源的一款分布式的发布-订阅消息系统，它具有：

1. 通过O(1)的磁盘结构持久化存储消息，即使TB级的数据也能保持长期稳定；
2. 高吞吐率：即使非常普通的硬件，kafka也能支持每秒数十万的消息；
3. 支持通过kafka服务器和消费集群来分区消息；
4. 支持Hadoop并行加载；

storm参考：http://www.searchtb.com/2012/09/introduction-to-storm.html