storm
文章平均质量分 89
微溪
这个作者很懒,什么都没留下…
展开
-
storm 批处理以及TickTuple窗口
一、Storm Storm是一个实时的可靠地分布式流计算框架。一个典型的大数据实时计算应用场景:从Kafka消息队列读取消息(可以是logs,clicks,sensor data);通过Storm对消息进行计算聚合等预处理;把处理结果持久化到数据库或者HDFS做进一步深入分析。 Storm中分为Topology开发和Trident开发,Trident是一种高度抽象的实时计算模型,是一种有...原创 2018-05-02 11:16:24 · 1386 阅读 · 0 评论 -
storm 微批处理高级API Trident
storm Trident 概述 1.1. Apply Locally本地操作:操作都应用在本地节点的Batch上,不会产生网络传输 1.2. Functions:函数操作 1.3. Filters:过滤操作 1.4. PartitionAggregate 1.5. Aggragation聚合操作 1.6. grouped streams 1.7. Merge和Joins:什么是...原创 2018-09-10 11:51:04 · 582 阅读 · 0 评论