- 博客(2)
- 收藏
- 关注
RSS订阅原创 Storm集成Redis
Storm如果是数据了很大，持久化到DB中，就需要频繁的做磁盘IO，这样的话明显不太好。一般来说做持久化一般是和redis，他们2个是比较配套的。他们都是基于内存的数据库。官方也是不推荐把Storm的数据持久化到DB，因为Storm可能会有多多少少的数据丢失，包括hadoop都是一样的。所以Storm处理了大批量的数据。如果是数据量少，就没有必要使用Storm这个工具了。由于Redis有RDB和A...
2018-05-08 12:17:22
732
原创 Storm集成kafka
一、简介二、安装三、一个简单生产者与消费者DEMO四、Storm集成Kafka一、简介Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处...
2018-05-07 11:19:39
1654
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人