Trident API 简介

最新推荐文章于 2020-12-31 14:45:58 发布
VIP文章 最新推荐文章于 2020-12-31 14:45:58 发布
阅读量621 收藏
点赞数
分类专栏： streaming 文章标签： storm 流式计算 trident api
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xianzhen376/article/details/52956110
版权

1. 简介

Storm作为流式计算框架，提供了spout和bolt接口，我们自己实现接口，然后将spout和bolt组合成topology，就构成了一个流的处理过程。

Trident 是Storm的上层封装，提供更加上层的操作方法和接口，提供基于状态的操作。多数情况下，我们实际接触的是Trident

Trident API的介绍原文:http://storm.apache.org/releases/1.0.2/Trident-API-Overview.html

2. 概念回顾

  1. 每一条数据是一个Tuple；
  2. Trident会将Tuple合并成Batch；
  3. 每条流在集群中处理时，被分成多个分区；

2. API

Trident提供的API，有的是接口，实际应用时，需要根据业务逻辑去实现这些接口。同时也有的是方法，可以直接拿来用。

定义topology时，看起来更像是方法的调用链。

2.1 基础API

API 说明 是否能跨分区
Functions 自定义处理方法，作用于每个tuple 否
Filters 过滤器，过滤tuple 否
map & flatMap 1进1出 和 1进N出的处理方法 否
peek 接收流数据，但不改变流 否
最低0.47元/天 解锁文章
Quan.S
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Trident：TridentSDK的服务器和API实现
02-02
三叉戟 Trident项目是新一代多线程，高性能和无尘Minecraft服务器的实现。 最新发布的 获得JAR 方法一：自己构建 如果您确定我们的分发形式有问题，或者您想要在获取JAR文件之前进行一些修改，则希望直接从源代码进行构建。 先决条件 方向 在命令行中输入以下内容： git clone -b [master | bleeding-edge] https://github.com/TridentSDK/Trident.git cd Trident mvn clean install 可以使用master来确保与最新版本的兼容。 否则，对于Trident的最新版本（并且可能会中断），将使用bleeding-edge 。 如果您自己构建JAR，则有责任知道哪种是适合您的。 内置的JAR将./Trident/target/trident-*.jar 方法二：从Sonatype Nexus下载 对于一个预编译的解决方案，它已经通过了我们编写的测试，并且如果您懒得下载2个文件并安装预要求的，则可以自己下载一个。 先决条件 一只 方向 点击“保持” 方法三：从我们这里得到一个 如果
Storm高级原语（四） — Trident API 综述
热门推荐
myrainblues的专栏
06-17 1万+
转载自：http://www.flyne.org/article/216 本文翻译自Storm wiki中的Trident API，部分地方加入了笔者自己的理解。 “Stream”是Trident中的核心数据模型，它被当做一系列的batch来处理。在Storm集群的节点之间，一个stream被划分成很多partition（分区），对流的操作（operation）是在每个pa
Trident API 概览
萝卜地里的兔子的博客
06-06 1190
Trident API 概览   在网上看到了很多有TRIDENT相关API的翻译，看来看去，总觉得没有说清楚很多东西，所以自己结合使用的经验翻译了一篇出来；翻译完以后，也发现 在自己的翻译中也有很多地方是表达不清楚的··不过多少感觉有些个人的理解编织在里面了。大侠们勿喷哈！ 原文地址：http://storm.apache.org/releases/1.1.0/Trident-API-Ov
Trident API和概念
futureofstar的博客
05-23 167
[size=large]一、Trident API——Spout[/size]     [b]ITridentSpout[/b]:最通用的Spout，可以支持事务或者不透明事务语义。     IBatchSpout: 一个非事务spout 。     [b]IPartitionedTridentSpout[/b]: 分区事务spout，从数据源(比如一个Kafka集群)读分区数据     ...
Storm Trident API 实践
Heaven Wang 的专栏
11-14 5981
一、概要      1.1 Storm(简介)      Storm是一个实时的可靠地分布式流计算框架。      具体就不多说了，举个例子，它的一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor data）、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。 1.2 Tride
Storm Trident API 使用详解.docx
05-20
Storm Trident API 使用详解.docx
trident-gcd:Storm Trident API 的 Google Cloud Datastore 状态实现
06-21
该库在 Google Cloud Datastore ( ) 之上实现了 Trident 状态。 它支持非事务性、事务性和不透明状态类型。
storm-trident-examples:三叉戟API
07-02
这个项目是 Storm's Trident 的游乐场。 在这个项目中，您可以找到我用于柏林的 Trident hackaton @ Big Data ... 包含 hackaton 会话内容的博客文章： ://www.datasalt.com/2013/04/an-storms-trident-api-overview/
trident：Trident是用Kotlin编写的Minecraft服务器API和实现
02-17
Trident是用Kotlin编写的Minecraft服务器API和实现。 为什么使用三叉戟？ 又快又轻！ Trident尽其所能整合并发！ 干净的！ Trident不使用Mojang的任何代码。 美丽的API！ 要使Trident的API达到最佳状态，人们有很...
Storm Trident API 使用详解
qq_36864672的博客
12-12 3807
一、概述      Storm Trident中的核心数据模型就是“Stream”，也就是说，Storm Trident处理的是Stream，但是实际上Stream是被成批处理的，Stream被切分成一个个的Batch分布到集群中，所有应用在Stream上的函数最终会应用到每个节点的Batch中，实现并行计算，具体如下图所示：       在Trident中有五种操作类型：
trident-core:核心软件包和系统覆盖文件
05-10
三叉戟核心 核心软件包和系统覆盖文件 文件层次结构 “ void-files”目录包含“ trident-core”软件包将安装的所有文件的1：1映射。 “ void-files”目录直接映射到根文件系统（“ /”）。 示例：安装后，“ void-files / boot / loader.conf.local”变为“ /boot/loader.conf.local” “ void-files / usr / bin / trident-sysinit”实用程序自动运行 “ void-desktop-files”目录包含“ trident-desktop”软件包将安装的文件的1：1映射。 “ xbps”目录包含这些软件包的Void Linux端口模板（尽管可能首先需要重新生成校验和） 重要档案 注意：安装更新时，下面列出的所有配置文件都会自动替换为较新的版本。 如果您希望本地系统更改
Trident简介
weixin_33963594的博客
06-07 688
1.引入 　　0.7版本：多条记录封装成批量，引入事务控制。 　　0.9版本：丢弃事务API，开始基于Storm之上的框架。 　　   2.介绍 　　   3.批次划分与事务实现 　　   二：事务管理 4.事务处理机制 　　不透明事务：增加了容错机制。 　　   5.Spout的API 　　Spout保留 　　Bolt没有，将原有的Storm写在Bolt中的逻辑，抽象封装成一系列的API。 　　...
Trident API概述
xqy1522的专栏
01-19 4750
Storm Trident的核心数据模型是一批一批被处理的“流”，“流”在集群的分区在集群的节点上，对“流”的操作也是并行的在每个分区上进行。   Trident有五种对“流”的操作： 1.      不需要网络传输的本地批次运算 2.      需要网络传输的“重分布”操作，不改变数据的内容 3.      聚合操作，网络传输是该操作的一部分 4.      “流”分组（grouby
storm trident 的介绍与使用
weixin_34112030的博客
06-24 297
一.trident的介绍 　　trident的英文意思是三叉戟，在这里我的理解是因为之前我们通过之前的学习topology spout bolt去处理数据是没有问题的，但trident的对spout bolt更高层次的一个抽象，其实现功能是一样的，只不过是trident做了更多的优化和封装.如果对处理的性能要求比较高，建议要采用spout bolt来处理，反之则可以用trident ...
Storm之trident聚合操作介绍
myrainblues的专栏
06-11 1万+
转载自：http://blog.sina.com.cn/s/blog_6ff05a2c0101k6xj.html Trident主要有5类操作： 1、作用在本地的操作，不产生网络传输。 2、对数据流的重分布，不改变流的内容，但是产生网络传输。 3、聚合操作，有可能产生网络传输。 4、作用在分组流（grouped streams）上的操作。 5、Merge和joi
Storm专题二：Storm Trident API 使用详解
Heaven Wang 的专栏
08-22 7122
一、概述      Storm Trident中的核心数据模型就是“Stream”，也就是说，Storm Trident处理的是Stream，但是实际上Stream是被成批处理的，Stream被切分成一个个的Batch分布到集群中，所有应用在Stream上的函数最终会应用到每个节点的Batch中，实现并行计算，具体如下图所示：       在Trident中有五种操作类型： A
Trident原理简析
ZERO
03-02 673
转载自：https://blog.csdn.net/jediael_lu/article/details/76687124     http://www.cnblogs.com/hseagle/p/3490635.html   Trident是storm的更高层次抽象，相对storm，它主要提供了3个方面的好处：   （1）提供了更高层次的抽象，将常用的count,sum等封装成了方法，可以直接调...
Storm Trident简介
数据技术控
01-08 1045
转载自：[翻译][Trident] Storm Trident 教程 英文原址：https://github.com/nathanmarz/storm/wiki/Trident-tutorial ---------------- Trident是在storm基础上，一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量数据能力的同时，也提供了低延时分布式查询和有状态
Storm中Trident框架详解
蔡政洁的博客
12-31 1265
目录一、Storm Trident概述及特性二、TridentTopology与StormToplogy三、TridentTopology的可靠性机制详解四、Storm Trident API讲解 一、Storm Trident概述及特性 Trident是在storm基础上，一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量数据能力的同时，也提供了低延时分布式查询和有状态流式处理的能力。好比 Mapreduce框架的Pig，Trident是Storm提供的基于基本API开发的高级框架。Tr
org.tron.trident
最新发布
07-09
### 回答1： org.tron.trident是TRON基金会开发的一个区块链软件，它是TRON网络的节点软件之一。 TRON是一个基于区块链技术的去中心化应用平台，旨在为全球用户提供去中心化的服务。TRON的目标是构建一个可实现去中心化互联网的生态系统，通过改变当前互联网模式，让价值能够更加自由地流动。 org.tron.trident作为TRON网络的节点软件，具有以下几个主要功能： 1.验证和存储交易：org.tron.trident被用于验证和存储TRON网络上发生的交易。它通过共识算法确保交易是有效的，并将其存储到每个参与者都可以访问的区块链上。 2.维护区块链的完整性：org.tron.trident负责维护TRON网络的区块链的完整性。它会持续地与其他节点进行通信，以确保所有节点上的区块链数据一致，并避免出现分叉现象。 3.参与共识机制：org.tron.trident作为TRON网络的一个节点，参与到共识机制中，与其他节点一起决定哪个区块应该被添加到区块链上。共识机制的目的是确保区块链的安全性和可靠性。 4.提供API接口：org.tron.trident还提供了一组API接口，使开发者可以轻松地与TRON网络交互。这些API接口包括转账、查询账户余额、创建合约等功能，为开发者提供了丰富的开发工具和资源。 总之，org.tron.trident是TRON网络中的一个重要组成部分，通过提供节点功能、参与共识机制和提供API接口，为TRON的去中心化生态系统的稳定运行和发展做出了重要贡献。 ### 回答2： org.tron.trident是Tron基金会开发的一个区块链项目。Trident是Tron主链的一个分叉版本，它旨在提供一个高性能、高可扩展性的区块链解决方案。与Tron主链相比，Trident采用了一些新的技术和改进，以提高其性能和可扩展性。 Trident引入了一个称为"Proof of Success"的共识算法，与Tron主链的"DPOS"共识算法有所不同。Proof of Success算法通过允许更多的验证者参与到确认交易的过程中，从而提高了整个网络的吞吐量和交易速度。这使得Trident能够更好地应对高负载和大量交易的场景。 此外，Trident还提供了一种名为"Smart-Chain Acceleration"的功能，该功能可以让开发者根据自己的需求创建自己的智能合约链。这样，不同的应用可以在Trident上运行自己的智能合约链，相互之间不会产生冲突或干扰。这种灵活性和可扩展性为开发者提供了更多的选择和自由度。 Trident还在跨链交互方面进行了改进，引入了一个称为"Cross-Chain Communication"的技术。这个技术使得不同的区块链网络之间能够更方便地进行信息传递和资产交换。这是一个重要的改进，可以促进区块链间的互操作性和协作。 总体而言，org.tron.trident作为Tron基金会开发的区块链项目，旨在提供一个高性能、高可扩展性的区块链解决方案。该项目引入了新的共识算法、可自定义的智能合约链和跨链通信技术，以满足不同应用场景的需求，并促进区块链网络之间的互操作性和协作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值