storm
NBtingwu
专注搜索、推荐相关技术、机器学习,大数据
展开
-
storm指南
Tutorial Inthis tutorial, you'll learn how to create Storm topologies and deploy them to aStorm cluster. Javawill be the main language used, but a few examples will use Python toillustrate Storm's原创 2016-02-15 10:41:44 · 604 阅读 · 0 评论 -
storm并行机制
集群中的一个机器可能为一个或多个topologies运行一个或多个进程,每一个工作进程为一个特定的topology运行多个执行器。 一个单独的工作进程可能运行一个或多个执行器,第一个执行器都是工作进程创建的一个线程,第一个执行器运行一个或多个同一组件的任务(spout或bolt)。 任务执行特定的数据处理。原创 2016-02-18 10:06:26 · 648 阅读 · 0 评论 -
storm中的RotatingCache技术
一,基本的原理 偶遇storm中的rotatecache算法,特地研究一下。 核心: 1,是采用了链表来组织多个桶来存储数据; 2,插入数据时直接插入到第一个桶中,清除到其它桶中的同key值的数据; 3,删除数据移除所有桶中的数据(此处需要遍历) 4,回收数据的时候,采用了非常巧妙的方式,在链表头新加一个桶,删除尾部的桶删除掉,如果带回调,调用一下回调函数。原创 2016-04-12 14:54:23 · 1194 阅读 · 0 评论