storm(实时计算)
storm(实时计算)
涂作权的博客
To do what I want to do!
展开
-
流式计算strom,Strom解决的问题,实现实时计算系统要解决那些问题,离线计算是什么,流式计算什么,离线和实时计算区别,strom应用场景,Strorm架构图和编程模型(来自学习资料)
1、背景-流式计算与storm2011年在海量数据处理领域,Hadoop是人们津津乐道的技术,Hadoop不仅可以用来存储海量数据,还以用来计算海量数据。因为其高吞吐、高可靠等特点,很多互联网公司都已经使用Hadoop来构建数据仓库,高频使用并促进了Hadoop生态圈的各项技术的发展。一般来讲,根据业务需求,数据的处理可以分为离线处理和实时处理,在离线处理方面Hadoop提供了很好的解决方案,但是针转载 2017-06-17 23:49:37 · 9131 阅读 · 0 评论 -
Storm通信机制,Worker进程间通信,Worker进程间通信分析,Worker进程间技术(Netty、ZeroMQ),Worker 内部通信技术(Disruptor)(来自学习资料)
Storm通信机制Worker间的通信经常需要通过网络跨节点进行,Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。 Worker进程内部通信:不同worker的thread通信使用LMAX Disruptor来完成。 不同topologey之间的通信,Storm不负责,需要自己想办法实现,例如使用kafka等;2.1、Worker进程间通信worke转载 2017-06-21 18:00:29 · 3744 阅读 · 1 评论 -
ack机制之代码实现,实现BaseRichBolt的方式,使用BaseBasicBolt的方式实现BaseRichBolt发ack和fail的功能
代码结构如下: pom文件内容如下:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="原创 2017-06-21 16:35:50 · 4124 阅读 · 0 评论 -
ack是什么,如何使用Ack机制,如何关闭Ack机制,基本实现,STORM的消息容错机制,Ack机制
1、ack是什么ack 机制是storm整个技术体系中非常闪亮的一个创新点。通过Ack机制,spout发送出去的每一条消息,都可以确定是被成功处理或失败处理, 从而可以让开发者采取动作。比如在Meta中,成功被处理,即可更新偏移量,当失败时,重复发送数据。 因此,通过Ack机制,很容易做到保证所有数据均被处理,一条都不漏。 另外需要注意的,当spout触发fail动作时,不会自动重发失败的tup原创 2017-06-21 12:38:44 · 25620 阅读 · 1 评论 -
Storm中Numbus,zookeeper,Supervisor,worker作用,Storm任务提交过程,Storm组件本地目录树,Storm zookeeper目录树
1、Storm 任务提交的过程 2、Storm组件本地目录树 3、Storm zookeeper目录树原创 2017-06-21 12:10:11 · 2589 阅读 · 0 评论 -
Strom+Kafka + redis实时计算单词出现频率的案例
案例要实现的目标在Kafka的shell 客户端中输入内容,通过Storm实时去kafka中取数据并进行计算单词出现的次数,并且实时把这些数据信息存储到redis中。代码编写编写Pom文件,代码如下:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xm原创 2017-06-21 11:12:16 · 3861 阅读 · 0 评论 -
Strom程序的并发机制,配置并行度(代码实现)、动态改变并行度,local or shuffle分组,分组的概念以及分组类型
1、Storm程序的并发机制1.1、概念 Workers (JVMs): 在一个物理节点上可以运行一个或多个独立的JVM 进程。一个Topology可以包含一个或多个worker(并行的跑在不同的物理机上), 所以worker process就是执行一个topology的子集, 并且worker只能对应于一个topology Executors (threads): 在一个worker J转载 2017-06-20 23:22:38 · 1994 阅读 · 0 评论 -
strom-1.1.0模拟单词统计功能,Spout编写,Bolt编写,TopologyDriver编写,本地模式运行,集群模式运行,集群模式下看输出结果
统计文本中的单词出现的频率,其中文本内容如下: 创建项目项目结构如下: 创建pom.xml,代码如下:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-insta原创 2017-06-20 18:16:33 · 850 阅读 · 2 评论 -
Strom集群安裝,Python安裝,Strom配置,Strom常用命令
一.集群安装说明1、storm安装依赖Python,所以在安装前请确保Python已经安装成功了 2、在安装前要保证hadoop1,hadoop2,hadoop3之间能够互相两两之间ssh免登陆。 3、安装好JDK 4、安转好Zookeeper集群1 ssh免登陆配置:分别在hadoop1,hadoop2,hadoop3上执行: ssh-keygen -t rsa 命令 ssh-co原创 2017-06-20 14:13:53 · 1333 阅读 · 0 评论 -
Storm配置文件中主要参数配置说明
二:Storm的配置项说明配置项 配置说明storm.zookeeper.servers :ZooKeeper服务器列表storm.zookeeper.port :ZooKeeper连接端口storm.local.dir :storm使用的本地文件系统目录(必须存在并且storm进程可读写)storm...原创 2018-09-23 14:08:44 · 5351 阅读 · 0 评论