Storm
nobody~
这个作者很懒,什么都没留下…
展开
-
Storm入门简介
前言:在介绍Storm之前,先介绍下离线计算。 离线计算:批量获取数据、批量传输数据、周期性批量计算数据、数据展示 代表技术:Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、azkaban任务调度 与之对应的就是流式计算即Storm的应用场景——流式计算。那么流式计算是什么呢? 流式计算:数据实时产生、数据实时传输、数据实时计算、...原创 2018-01-11 14:23:46 · 426 阅读 · 0 评论 -
Storm编程模型总结
前言:对于Storm的编程模型有必要做一个详细的介绍(配合WC案例来介绍)1、Storm编程模型 上图中组件的解释:DataSource:外部数据源Spout:接受外部数据源的组件,将外部数据源转化成Storm内部的数据,以Tuple为基本的传输单元下发给BoltBolt:接受Spout发送的数据,或上游的bolt的发送的数据。根据业务逻辑进行处理。发送给下一个Bolt或者...原创 2018-04-06 17:12:04 · 716 阅读 · 0 评论 -
Storm集群的安装及简单使用
前言:这里先简单说一下Storm的安装的主要步骤,还会介绍下Storm的常用的操作指令以及各个进程对应的日志信息,之后会简单介绍下Storm的源码目录。1、集群部署的基本流程集群部署的流程:下载安装包、解压安装包、修改配置文件、分发安装包、启动集群(其他集群部署通用的流程)下载和解压安装包在这里就省略,直接进入修改配置文件 1.3、修改配置文件 vi /export/ser...原创 2018-04-06 18:23:57 · 1111 阅读 · 0 评论 -
Storm的通信机制
前言:这篇文章,博客主要介绍下Storm中Worker进程间和进程内部通信的原理和技术。整篇内容仅供了解,如有不足或错误请指出。 Worker间的通信经常需要通过网络跨节点进行,Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。 Worker进程内部通信:不同worker的thread通信使用LMAX Disruptor来完成。 不同topologey...原创 2018-04-06 21:35:10 · 1061 阅读 · 0 评论 -
Storm程序的并发机制原理总结
前言:为了在以后的实践中提高Storm程序执行的效率,我们还是有必要了解下对应的Storm程序的并发机制。(哈哈,虽然以博主小菜鸟的水平还没有接触到这种提升程序效率层面的东西(这里只是空谈理论),但是Storm的并行机制还是有必要了解下,毕竟技多不压身嘛!)1、概念并发度:用户指定的一个任务,可以被多个线程执行,并发度的数量等于线程的数量。一个任务的多个线程,会被运行在多个Wor...原创 2018-04-06 22:12:00 · 688 阅读 · 0 评论 -
Storm任务提交过程及目录树介绍
前言:对于任何一个组件来说,了解它相关的任务提交的过程是非常有必要的(毕竟生产中遇到一些Bug时,你如果知道内部执行的过程,那么会对问题的解决会有很大的帮助)。除此之外还会对Storm相关的目录树进行一个简单的介绍,主要是为了了解下在任务提交过程中一些数据的存储过程。博主也是小菜鸟一枚,如有错误或不足,请各位及时指出,必当及时修正。1、Storm 任务提交的过程任务提交详细过程如下图所...原创 2018-04-06 22:37:12 · 1440 阅读 · 1 评论