- 博客(6)
- 收藏
- 关注
原创 第2关:数字签名
让我们来看一下与数字签名并行的一个有用技巧,基本想法是从数字签名模式中拿出一个公共验证密钥,并将其与一个人或一个系统参与者的身份对等。发现你的现实身份(当然,一旦你开始使用这个身份发表声明,这些声明可能泄露信息,而让别人将你的真实身份与。的哈希作为你的身份,这是因为公钥很大。将公钥视为身份的一个结果是,你可以随时制定新的身份——你可以简单通过数字签名方案中的。根据提示,在右侧编辑器补充代码,根据公钥即身份,我们可以模拟一次消息签名,假如你的身份是。是人人都可以找到的,拿到它,就可以用来验证你的签名。
2023-12-02 08:00:00
331
1
原创 第1关:Storm 容错机制
ack val 代表了该元组数的状态,不管 spout 发射的元组及其衍生的元组有多少,它只对所有创建的元组以及确认的元组 id 求异或 xor 操作。当拓扑创建了元组,就会为其分配一个随机的 64bit 的 id,acker 使用该 ID 追踪 spout 发送的每个元组。当在闪电中创建了新的元组,该 ids 会拷贝给新的元组。storm 的拓扑中提供了一组 acker 用于追踪 spout 发射的每个元组及其衍生的元组,一旦发现 DAG 处理完了,就同创建该元组的 spout 进行确认。
2023-12-01 17:03:18
265
1
原创 第1关:Storm 通信机制
Worker 间的通信经常需要通过网络跨节点进行,Storm 使用 ZeroMQ 或 Netty(0.9 以后默认使用)作为进程间通信的消息框架。Worker 进程内部通信:不同 worker 的 thread 通信使用 LMAX Disruptor 来完成。不同 topologey 之间的通信,Storm 不负责,需要自己想办法实现,例如使用 kafka 等;
2023-11-23 12:33:56
338
原创 第2关:聚合、分组、合并与连接操作
加入类似于合并,除了加入使用来自两边的 trident tuple 字段来检查和连接两个流的事实。在聚合过程期间,首先使用全局分组将元组重新分区,以将同一批次的所有分区组合到单个分区中。本关任务:使用 Storm Trident API 中的partitionAggregate 完成聚合 word tuple 的操作。persistentaggregate -聚合所有批次中的所有 trident tuple ,并将结果存储在内存或数据库中。来重新分区流,然后在每个分区中,它将组字段相等的元组组合在一起。
2023-11-23 11:27:14
176
原创 第1关:函数、过滤器、地图和平面地图、窥视操作
但具有将 one-to-many transformation (一对多变换)应用于 values of the stream (流的值)的效果, 然后将所得到的元素 flattening (平坦化)为新的 stream。(链接), 因此可以从如下的 stream of sentences (句子流)中获得 stream of uppercase words (大写字的流),(映射函数)应用于 stream 以产生 stream of uppercase words (大写字的流).
2023-11-23 11:24:33
71
原创 头歌Trident State API
假设我们有一个 Location 数据库,我们要通过 Trident 查新和更新这个数据库,那么我们可以自己实现这样一个 LocationDB State ,因为我们需要查询和更新,所以我们为这个 LocationDB 可以添加对 Location 的。接口,我们实现了这个接口之后, Trident 就可以通过这个接口获得具体的 Trident State 实例了,下面我们就实现一个可以制造 LocationDB 实例的。此时,我们再稍微改一下。
2023-11-23 11:20:46
90
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人