大数据实时阶段_Day03_Storm原理

最新推荐文章于 2021-10-27 22:55:09 发布
最新推荐文章于 2021-10-27 22:55:09 发布
阅读量237 收藏 2
点赞数
分类专栏： 大数据 文章标签： Storm原理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43280340/article/details/82888659
版权

在这里插入图片描述

1.Storm源码下载及目录熟悉

在这里插入图片描述

  • 导入Jstorm源码在之前Storm直接导入代码，切换一下导包就可以直接用了。
  • 1.6 Storm源码编译
    在这里插入图片描述

2.1 Storm 任务提交的过程

在这里插入图片描述

  • 将数据序列化原理
    在这里插入图片描述

storm的任务提交和执行

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 一个完整的assignment对象
    在这里插入图片描述
  • storm数据分组策略
    在这里插入图片描述

3.1 Worker进程间通信

在这里插入图片描述

  • 对于worker进程来说，为了管理流入和传出的消息，每个worker进程有一个独立的接收线程 (对配置的TCP端口supervisor.slots.ports进行监听);
    对应Worker接收线程，每个worker存在一个独立的发送线程 ，它负责从worker的transfer-queue 中读取消息，并通过网络发送给其他worker
  • 每个executor有自己的incoming-queue 和outgoing-queue 。
    Worker接收线程将收到的消息通过task编号传递给对应的executor(一个或多个)的incoming-queues;
    每个executor有单独的线程分别来处理spout/bolt的业务逻辑，业务逻辑输出的中间数据会存放在outgoing-queue中，当executor的outgoing-queue中的tuple达到一定的阀值，executor的发送线程将批量获取outgoing-queue中的tuple,并发送到transfer-queue中。
  • 每个worker进程控制一个或多个executor线程，用户可在代码中进行配置。其实就是我们在代码中设置的并发度个数。

总结

在这里插入图片描述

6.4、Worker 内部通信技术(Disruptor) （了解即可）
Disruptor的来历

  • 一个公司的业务与技术的关系，一般可以分为三个阶段。第一个阶段就是跟着业务跑。第二个阶段是经历了几年的时间，才达到的驱动业务阶段。第三个阶段，技术引领业务的发展乃至企业的发展。所以我们在学习Disruptor这个技术时，不得不提LMAX这个机构，因为Disruptor这门技术就是由LMAX公司开发并开源的。
  • LMAX是在英国注册并受到FSA监管（监管号码为509778）的外汇黄金交易所。LMAX也是欧洲第一家也是唯一一家采用多边交易设施Multilateral Trading Facility（MTF）拥有交易所牌照和经纪商牌照的欧洲顶级金融公司
  • LAMX拥有最迅捷的交易平台，顶级技术支持。LMAX交易所使用“（MTF）分裂器Disruptor”技术，可以在极短时间内（一般在3百万秒之一内）处理订单，在一个线程里每秒处理6百万订单。所有订单均为撮合成交形式，无一例外。多边交易设施（MTF）曾经用来设计伦敦证券交易 所（london Stock Exchange）、德国证券及衍生工具交易所（Deutsche Borse）和欧洲证券交易所（Euronext）。
  • 2011年LMAX凭借该技术获得了金融行业技术评选大赛的最佳交易系统奖和甲骨文“公爵杯”创新编程框架奖。
    Disruptor是什么
    1、 简单理解：Disruptor是一个Queue。Disruptor是实现了“队列”的功能，而且是一个有界队列。而队列的应用场景自然就是“生产者-消费者”模型。
    2、 在JDK中Queue有很多实现类，包括不限于ArrayBlockingQueue、LinkBlockingQueue，这两个底层的数据结构分别是数组和链表。数组查询快，链表增删快，能够适应大多数应用场景。
    3、 但是ArrayBlockingQueue、LinkBlockingQueue都是线程安全的。涉及到线程安全，就会有synchronized、lock等关键字，这就意味着CPU会打架。
    4、 Disruptor一种线程之间信息无锁的交换方式（使用CAS（Compare And Swap/Set）操作）。
    Disruptor主要特点
    1、 没有竞争=没有锁=非常快。
    2、 所有访问者都记录自己的序号的实现方式，允许多个生产者与多个消费者共享相同的数据结构。
    3、 在每个对象中都能跟踪序列号（ring buffer，claim Strategy，生产者和消费者），加上神奇的cache line padding，就意味着没有为伪共享和非预期的竞争。
    Disruptor 核心技术点
    Disruptor可以看成一个事件监听或消息机制，在队列中一边生产者放入消息，另外一边消费者并行取出处理.
    底层是单个数据结构：一个ring buffer。
    每个生产者和消费者都有一个次序计算器，以显示当前缓冲工作方式。
    每个生产者消费者能够操作自己的次序计数器的能够读取对方的计数器，生产者能够读取消费者的计算器确保其在没有锁的情况下是可写的。

核心组件

  • Ring Buffer 环形的缓冲区，负责对通过 Disruptor 进行交换的数据（事件）进行存储和更新。
  • Sequence 通过顺序递增的序号来编号管理通过其进行交换的数据（事件），对数据(事件)的处理过程总是沿着序号逐个递增处理。
  • RingBuffer底层是个数组，次序计算器是一个64bit long 整数型，平滑增长。

在这里插入图片描述
1、 接受数据并写入到脚标31的位置，之后会沿着序号一直写入，但是不会绕过消费者所在的脚标。
2、 Joumaler和replicator同时读到24的位置，他们可以批量读取数据到30
3、消费逻辑线程读到了14的位置，但是没法继续读下去，因为他的sequence暂停在15的位置上，需要等到他的sequence给他序号。如果sequence能正常工作，就能读取到30的数据。

5 消息不丢失机制

  • 5.1、 ack是什么
  • ack 机制是storm整个技术体系中非常闪亮的一个创新点。

通过Ack机制，spout发送出去的每一条消息，都可以确定是被成功处理或失败处理， 从而可以让开发者采取动作。比如在Meta中，成功被处理，即可更新偏移量，当失败时，重复发送数据。
因此，通过Ack机制，很容易做到保证所有数据均被处理，一条都不漏。
另外需要注意的，当spout触发fail动作时，不会自动重发失败的tuple，需要spout自己重新获取数据，手动重新再发送一次

ack机制即， spout发送的每一条消息，

  • 在规定的时间内，spout收到Acker的ack响应，即认为该tuple 被后续bolt成功处理
  • 在规定的时间内，没有收到Acker的ack响应tuple，就触发fail动作，即认为该tuple处理失败，
  • 或者收到Acker发送的fail响应tuple，也认为失败，触发fail动作

另外Ack机制还常用于限流作用： 为了避免spout发送数据太快，而bolt处理太慢，常常设置pending数，当spout有等于或超过pending数的tuple没有收到ack或fail响应时，跳过执行nextTuple， 从而限制spout发送数据。

通过conf.put(Config.TOPOLOGY_MAX_SPOUT_PENDING, pending);设置spout pend数。

这个timeout时间可以通过Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS来设定。Timeout的默认时长为30秒

  • 异或运算
    在这里插入图片描述

ack机制当中运用了异或运算，当其中值为0 则成功。

在这里插入图片描述
在这里插入图片描述

  • 5.2、 如何使用Ack机制
    spout 在发送数据的时候带上msgid

设置acker数至少大于0；Config.setNumAckers(conf, ackerParal);
在bolt中完成处理tuple时，执行OutputCollector.ack(tuple), 当失败处理时，执行OutputCollector.fail(tuple);
推荐使用IBasicBolt， 因为IBasicBolt 自动封装了OutputCollector.ack(tuple), 处理失败时，请抛出FailedException，则自动执行OutputCollector.fail(tuple)

  • 开启ack机制
    在这里插入图片描述
  • 5.3、 如何关闭Ack机制

有2种途径

spout发送数据是不带上msgid
设置acker数等于0

  • kafka+storm组合会不会丢失数据？（容易出面试题）
  • kafka通过副本机制保障数据不丢失，strom通过ack机制保障。
程序猿丶小川
关注
专栏目录
聊一聊disruptor-无锁并发框架
Firstlucky77的博客
05-12 1866
前言 Disruptor是英国外汇交易公司LMAX开发的一个高性能队列，研发的初衷是解决内存队列的延迟问题。基于Disruptor开发的系统单线程能支撑每秒600万订单，2010年在QCon演讲后，获得了业界关注。 其实Disruptor与其说是一个框架，不如说是一种设计思路，这个设计思路对于存在“并发、缓冲区、生产者—消费者模型、事务处理”这些元素的程序来说，Disruptor提出了一种大幅提升性能（TPS）的方案。 来一张全链路流程图 disruptor设计理念很超前，解决了传统队列
大数据技术之大数据基础阶段考试题（二）
weixin_45739322的博客
12-23 3644
文章目录一 .Zookeeper1 请简述ZooKeeper的选举机制假设有五台服务器组成的zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么。ZooKeeper的监听原理是什么？ZooKeeper的部署方式有哪几种？集群中的角色有哪些？集群最少需要几台机器？ZooKeeper的常用命令二 Hive1 Hive表关联查询，如何解决数据倾斜的问题？2 请谈一下Hive的特点，Hive和RDBMS有什
阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费
agapple
02-06 1482
   背景    早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。ps. 目前内部使用的同步，已经支持mysql5.x和oracle部分...
轻量级mq实现之 disruptor 原理
guang_heng的专栏
08-14 2157
Disruptor最大的特点是无锁实现队列.(当然默认使用的BlockingWaitStrategy还是用到了lock.lock();publish的时候signalAll().但是你可以选择不用这种策略的) Disruptor说的是生产者和消费者的故事. 有一个数组.生产者往里面扔芝麻.消费者从里面捡芝麻. 但是扔芝麻和捡芝麻也要考虑速度的问题. 1 消费者捡的比扔的快 那么消费者要
RabbitMQ —— 五、单 Channel 消费之 Disruptor
xuguangyuansh的博客
01-11 763
RabbitMQ —— 五、单 Channel 消费之 Disruptor        起因不再多说，可看前一篇文章《RabbitMQ —— 四、单 Channel 消费之 ArrayBlockingQueue》，本文是将内部的缓冲队列换成了 Disruptor。 一、核心 Listener package com.xugy....
Disruptor笔记(五)-FAQ
杨军的博客
03-08 4843
1.  MultiThreadedClaimStrategy.java中pendingPublication的用处： 参考：http://blogs.lmax.com/ How does this apply to our concurrentsequencing problem? We could allow threads to continue to make progress whil
Day73_Spark核心原理加强
qq_36972345的博客
10-27 191
一、Spark核心原理加强 ●课程说明 高能预警 Spark源码从1.x的40w行发展到现在的近100w行，有1400多位大牛贡献了代码。整个Spark框架源码是一个巨大的工程， （一）Spark专业术语定义 Application/App：Spark应用程序 指的是用户编写的Spark应用程序/代码，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。 Spark应用程序，由一个或多个作业JOB组成(因为代码中可能会调用多次Action)，如下图所示: .
大数据阶段资料巩固
csycarrier的博客
04-09 1454
大数据复习 概念 巨量数据集合，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 特点 大量化Volume 、 价值化Value 、 多样化Variety 、 真实性Veracity Linux操作系统 版本 CentOS7.2 指令 文件操作相关 ls 、ll、mk...
2021-01-31 大数据课程笔记 day11
qq_44745905的博客
01-31 248
@R星校长 课程内容 mapreduce 原语（独创） mapreduce 工作流程（重点） MR 作业提交流程（重点） YARN RM-HA 搭建（熟练） 运行自带的 wordcount（了解） 动手写 wordcount（熟练） MapReduce 概述 Google 发表了两篇论文《Google File System》 《Google MapReduce》 《Google File System》简称 GFS，是 Google 公司用于解决海量数据存储的文件系统。 《Google MapRedu.
大数据开发面试题总结-超详细
热门推荐
JohnnyChu的博客
11-18 1万+
1、文件上传： 总结： 客户端上传请求--->namenode检查，返回响应--->客户端真正的文件上传请求，包括文件名，文件大小--->namenode返回上传节点--->客户端准备上传，进行块的逻辑切分--->客户端构建pipline流--->开始上传，先上传到缓存中，再上传到磁盘--->上传完成，关闭pipline流--->上...
Disruptor+Spring的Event解耦业务
xiaoll880214的专栏
06-22 2212
Disruptor: 开源的并发框架,能够在无锁的情况下实现网络的Queue并发操作,其他更多详情介绍 本common包封装的Disruptor与Spring的Event事件组合，实现业务在JVM内解耦。 引入disruptor pom依赖: <disruptor.version>3.4.2</disruptor.version> <!-- disrupt...
storm架构原理
qq_30062385的博客
03-20 2937
课程介绍课程名称：Storm是什么课程目标： 通过该课程的学习能够了解离线计算与流式计算的区别、掌握Storm框架的基础知识、了解流式计算的一般架构图。课程大纲：1、 离线计算是什么？2、 流式计算是什么？3、 流式计算与离线计算的区别？4、 Storm是什么？ 5、 Storm与Hadoop的区别？6、 Storm的应用场景及行业案例7、 Storm的核心组件（重点掌握）8、 Storm的编程模...
Storm通信机制,Worker进程间通信,Worker进程间通信分析,Worker进程间技术(Netty、ZeroMQ),Worker 内部通信技术(Disruptor)(来自学习资料)
涂作权的博客
06-21 3735
Storm通信机制Worker间的通信经常需要通过网络跨节点进行，Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。 Worker进程内部通信：不同worker的thread通信使用LMAX Disruptor来完成。 不同topologey之间的通信，Storm不负责，需要自己想办法实现，例如使用kafka等；2.1、Worker进程间通信worke
JSP学生学籍管理系统设计与实现(源代码+论文+开题报告+外文翻译+答辩PPT).zip
09-21
1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md或论文文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 5、资源来自互联网采集，如有侵权，私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md或论文文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 5、资源来自互联网采集，如有侵权，私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md或论文文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 5、资源来自互联网采集，如有侵权，私聊博主删除。 6、可私信博主看论文后选择购买源代码。
省市区数据，完成三级联动，选择地区
09-21
省市区数据，完成三级联动，选择地区
机械原理课程设计网球自动捡球机.doc
最新发布
09-21
机械原理课程设计网球自动捡球机.doc
2024秋招华为笔试题大全-仅供参考具体需要根据实际修改
09-21
2024秋招华为笔试题大全-仅供参考具体需要根据实际修改
lv_calendar_set_day_names
05-18
lv_calendar_set_day_names 函数是用来设置日历控件的星期名称的。它的函数原型为： ```c void lv_calendar_set_day_names(lv_obj_t * obj, const char ** day_names) ``` 其中，obj 是要设置的日历对象的指针，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值