Storm-declareOutputFields-declare

最新推荐文章于 2022-04-25 10:38:13 发布
最新推荐文章于 2022-04-25 10:38:13 发布
阅读量4.2k 收藏 2
点赞数
分类专栏： 大数据 文章标签： storm declareOutputFields declare
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_23660243/article/details/53929525
版权
本文介绍了在Storm中，不论是Spout还是Bolt的declareOutputFields方法的作用。该方法用于定义元组中变量的结构名称。通过示例，解释了如何在Spout和Bolt中使用此方法发送包含多个变量的元组，并澄清了Values类与ArrayList的关系，帮助理解元组数据的组织方式。
摘要由CSDN通过智能技术生成

最近项目需要开始接触storm，感觉跟spark差距还是不小的，不过每个平台都有各自的优势，不做过多评价。有个地方，一直困扰了我好久，就是不管是spout实现类还是bolt实现类里面都有个declareOutputFields的方法，后面declare出去的东西我是真看不明白有啥用，然后按照官网看了一下，结合自身理解在此梳理一下，如果有同学有同样的问题希望能给你解惑。

如图，这是我的spout中粘贴出来的。就拿这个例子来说，我首先粘上官方的解释：

The stream is the
最低0.47元/天 解锁文章
qq_23660243
关注
专栏目录
【Storm】Spout的storm-starter及Grouping策略、并发度讲解、网站浏览量和用户数统计
晚风中的自由
08-18 627
maven先安装好。 以下讲storm-starter的使用。 1、从github下载官方的storm-starter例子包，是maven工程， 地址https://github.com/nathanmarz/storm-starter 2、把文件解压复制到workspace目录下，用cmd命令行，在该文件目录下运行mvn eclipse:eclipse，生成eclipse所...
storm-executor-bolt（1）
weixin_46346504的博客
11-02 135
这里写自定义目录标题新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 2121SC@SDUSC 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功
storm中declareOutputFields方法的使用规则及与fieldsGrouping方法的联系
05-23 1940
declareOutputFields方法中声明了该bolt/spout输出的字段个数，供下游使用，在该bolt中的execute方法中，emit发射的字段个数必须和声明的相同，否则报错：Tuple created with wrong number of fields. Expected 2 fields but got 1 fields。        fieldsGrouping方法设定从上...
Storm里面fieldsGrouping和Field参数和 declareOutputFields
weixin_30568715的博客
06-11 193
Fields，个人理解，类似于一张表，你取那些字段以及这些字段所对应的数据给后面的bolt用 这个Field通常和fieldsGrouping分组机制一起使用，这个Field特别难理解，我自己也是在网上看了好多文章，感觉依旧讲的不是很清楚，是似而非，没有抓到重点。这个问题足足困扰了我3-4天时间，一直理解不了Field的概念， 当前我觉得newFields("word")就相当于...
Storm 中 Fields作用
chuxiali2570的博客
08-01 243
之前一直没搞清楚Fields的作用，今天再看一个例子的时候突然脑洞大开，想通了！看得例子如下。 TransactionalTopologyBuilderbuilder= newTransactionalTopologyBuilder("test","spout",n...
Storm OutputFieldsDeclarer
Behind You！
09-28 585
org.apache.storm.topology Interface OutputFieldsDeclarer All Known Implementing Classes:OutputFieldsGetter public interface OutputFieldsDeclarer Method Summary
springboot整合storm
sinat_37627782的博客
01-13 742
storm,kafka,flume这一套貌似是比较好用的数据实时处理框架 先不说怎么在服务器上搭建flume和kafka这一块的数据收集框架，只说java环境下接收kafka生产者产生的数据，然后经过storm处理数据。 一开始想通过普通main方法直接启动，但是无法使用框架带的功能，于是乎想整合进springboot框架，但是这些框架都是相对独立的，不能互相调用功能，于是乎在网上找了个例子，...
Storm-9.1.0 WordCount jar 实例
xueliang1029的专栏
05-23 2958
提交Topologies 命令格式：storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】 样例：storm jar /storm-starter.jar storm.starter.WordCountTopology wordcountTop
With Storm Spouts, when is declareOutputFields( ) called?
weixin_34375233的博客
08-17 95
The method IComponent.declareOutputFields(...) is called on the client machine when the client code calls createTopology() on the TopologyBuilder instance. Please look at the line 226 in the TopologyB...
大数据（068）Storm【Storm JAVA开发手册】
张--小涛涛
03-26 246
一、spout中提供的方法 1、open方法 当一个Task被初始化的时候会调用此open方法。一般都会在此方法中对发送Tuple的对象SpoutOutputCollector和配置对象TopologyContext初始化。 2、nextTuple方法 这是Spout类中最重要的一个方法。发射一个Tuple到Topology都是通过这个方法来实现的。...
Apache Storm教程 - W3Cschool
Liyiming
04-25 1123
Apache Storm简介 什么是Apache Storm？ Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具有最高的摄取率。虽然Storm是无状态的，它通过Apache ZooKeeper管理分布式环境和集群状态。它很简单，您可以并行地对实时数据执行各种操作。 Apache Storm继续成为实时数据分析的领导者。Storm易于设置和操作，并且它保证每个消息将通过拓扑至少处理一次。 Apache Storm v
Storm自学1
qq_36351824的博客
08-29 241
一、Storm 简介         Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。被称作“实时的hadoop”。Storm有很多使用场景：如实时分析，在线机器学习，持续计算， 分布式RPC，ETL等等。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快（在一个小集群中，每个结点每秒可以处理 数以百万计的消息）。Storm的部署和运维都...
Storm里面fieldsGrouping和Field的概念详解
热门推荐
vessalasd1的博客
01-06 1万+
这个Field通常和fieldsGrouping分组机制一起使用，这个Field特别难理解，我自己也是在网上看了好多文章，感觉依旧讲的不是很清楚，是似而非，没有抓到重点。这个问题足足困扰了我3-4天时间，一直理解不了Field的概念， 当前我觉得new Fields("word")就相当于表的表头，就是定义这个域，这个域里面放的东西，是emit进去的 Spouts---
storm文档（7）----基本概念
录事参军
11-27 2018
转载请注明出处： 源地址：http://storm.apache.org/documentation/Concepts.html   本文介绍了storm的主要概念，并且给出相关链接供你查看更多信息。本文讨论的概念如下所示： 1、Topologies 2、Streams 3、Spouts 4、Bolts 5、Stream Grouping 6、Reliability 7、Tas
storm笔记：storm基本概念
沉潜飞动
01-21 5661
本文主要介绍storm中的基本概念，从基础上了解strom的体系结构，便于后续编程过程中作为基础指导。主要的概念包括：topology（拓扑）、stream（数据流）、spout（水龙头、数据源）、bolt（螺栓，数据筛选处理）、stream group（数据流分组）、reliability（可靠性）、task（任务）、worker（执行者）
storm_bolt详解
子龙修仙的博客
12-06 2314
可靠的与不可靠的bolt 也可以使用IBasicBolt接口实现自动确认：     即，如果bolt不是extends BaseRichBolt,而是extends BaseBasicBolt，上面的代码中不可靠的bolt自动变为可靠的了。 2.关于declareOutputFields方法需要重点说一下。 在此方法中定义fields，它和nextTuple中的emit中...
Storm学习笔记
JackLeeLive的博客
04-25 298
Storm学习笔记Storm基础知识Storm 是一个分布式的，可靠的，容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm 集群的输入流由一个被称作 spout 的组件管理，spout 把数据传递给 bolt， bolt 要么把数据保存到某种存储器，要么把数据传递给其它的 bolt。 Storm组件在 Storm 集群中，有两类节点：主节点 m...
declare-const是啥意思
最新发布
06-08
`declare-const` 是 SMT-LIB 语言中的一个命令，用于声明一个常量。与 `declare-fun` 命令不同的是，`declare-const` 声明的常量没有参数，只有一个返回类型。 语法如下： ``` (declare-const <const_name> <type>) ``` 其中 `<const_name>` 是常量的名称，`<type>` 是常量的类型。 例如，声明一个布尔类型的常量 `b`： ``` (declare-const b Bool) ``` 声明一个整数类型的常量 `n`： ``` (declare-const n Int) ``` 和 `declare-fun` 命令一样，`declare-const` 命令也是用于描述 SMT 问题的，可以与其他 SMT 命令结合使用来描述约束条件和求解问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值