- 博客(19)
- 收藏
- 关注
RSS订阅
1原创 storm-stream（2）
2121SC@SDUSCstorm-stream（2）SingleStream默认情况下：Spout发送到下游Bolt的stream-id，以及Bolt发送到下游Bolt或者接收上游Spout/Bolt的stream-id都是default。可以对Spout/Bolt在发送消息时自定义stream-id，同时必须在声明输出字段时，指定对应的stream-id。代码说明：发射时指定一个stream-id，声明流时指定一个stream-id，topology设置Bolt时除了通过Group的compo
2021-12-27 19:21:00
756
原创 storm-executor（补充）
2121SC@SDUSCstorm-executor（补充）ExecutorTransfer类源码分析每个执行器都有这个类的一个实例public class ExecutorTransfer { private static final Logger LOG = LoggerFactory.getLogger(ExecutorTransfer.class);private final WorkerState workerData;每个线程一个序列化器，以避免数据损坏priva
2021-12-27 17:05:31
276
原创 strom-tulpe补充（2）
2121SC@SDUSCstrom-tulpe补充（2）tupletuple是一个类似于列表的东西，存储的每个元素叫做field（字段），可以是任何类型。Storm使用tuple作为它的数据模型， 每个tuple是一堆值，每个值都有一个名字。一个Tuple代表数据流中的一个基本处理单元，例如：一条cookie日志，他可以包含多个Field, 每个Field表示一个属性。一个没有边界、源源不断的Tuple序列就组成了Stream。topology里面的每个节点，必须定义它要发射的Tuple的每个
2021-12-26 13:43:59
76
原创 storm-stream
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-12-05 09:30:15
202
原创 storm-blot（3）
storm-blot（3）一、 LocalCluster VS StormSubmitter二、DRPC拓扑三、executor中的error测试总结执行器传输多线程测试：2121SC@SDUSC一、 LocalCluster VS StormSubmitter把自己的拓扑提交给运行中的Storm集群：Storm有一的功能，可以在一个真实的集群上运行自己的拓扑，需要把LocalCluster换成StormSubmitter并实现submitTopology方法， 它负责把拓扑发送给集群。代码如下：
2021-11-29 14:40:05
1589
原创 Storm-blot（2）
2121SC@SDUSCStorm-blot（2）一、 Boltbolts是一个Storm集群中的关键组件，它把元组作为输入，然后产生新的元组作为输出。实现一个bolt时，通常需要实现IRichBolt接口。Bolts对象由客户端机器创建，序列化为拓扑，并提交给集群中的主机。然后集群启动工人进程反序列化bolt，调用prepare，最后开始处理元组。二、拓扑中的blot应用数据流组：一个数据流组指定了每个bolt会消费哪些数据流，以及如何消费注：一个节点能够发布一个以上的数据流，一个数据流
2021-11-29 12:59:04
258
原创 storm-executor-impl
storm-executor-impl2121SC@SDUSC一、实现类、接口实现：分析见注释（1）class BatchAsyncResultHandlerpublic class BatchAsyncResultHandler implements AsyncResultHandler<List<Tuple>> {private ConcurrentLinkedQueue<ExecutionResultCollector> comp
2021-11-29 00:01:53
851
原创 storm-executor-spout（2）
2121SC@SDUSCstorm-executor-spout（2）用一个spout读取Twitter数据。采用拓扑并行化，多个spout从同一个流读取数据的不同部分。如果有多个流要读取，可以在任意组件内（spouts/bolts）访问TopologyContext。利用这一特性，能够把流划分到多个spouts读取。 public void open(Map conf, TopologyContext context, SpoutOutputCollector collector) {
2021-11-15 21:06:26
1516
原创 storm-executor-spout（1）
2121SC@SDUSCstorm-executor-spout（1）在设计拓扑结构时，很重要事情就是消息的可靠性。当有无法处理的消息时，需要决定该怎么办，以及作为一个整体的拓扑结构该做些什么，高可靠性的拓扑必须管理丢失的消息，必然消耗更多资源；可靠性较低的拓扑可能会丢失一些消息，占用的资源也相应更少。要在spout中管理可靠性，可以在分发时包含一个元组的消息ID（collector.emit(new Values(…),tupleId)）。在一个元组被正确的处理时调用ack方法，而在失败时调用fa
2021-11-15 20:30:32
1222
原创 storm-executor-bolt（1）
这里写自定义目录标题新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入2121SC@SDUSC新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功
2021-11-02 17:47:33
136
原创 Storm-Tuple部分源码分析（2）
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-10-24 22:49:40
115
原创 storm-tuple（1）
2121SC@SDUSC一、storm实时计算系统中的tuplestorm中每一个Topology（任务）要从数据源中获取数据，然后进行后续处理。在Topology中从外部数据源获取数据的组件，称之为Spout，处理数据的组件，称之为bolt。如上图，在这个Topology中，我们看到一个Spout和一个Bolt，两者之间的这个数据通道我们称之为Stream(流)。tuple是Stream的最小组成单元，也可以看成topology的每一个“消息”。tuple是storm的主要数据结构，并且是storm
2021-10-11 08:00:48
198
原创 STORM-综述及分工
2121SC@SDUSC一、项目分工：我们组将STORM分为以下11个部分：Nimbus\Bolt\Zookeeper\Topology\Excutor\Supervisor\Woker\Task\Spout\Tuple\Stream groupings其中，我选择的部分为：Excutor,Tuple二、项目简介：（1）storm：Storm是一个分布式的、容错的实时计算系统，它被托管在GitHub上。Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。
2021-10-01 03:02:21
161
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人