![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Storm笔记
一直不懂
笔记
展开
-
【Storm笔记】10-Storm 消息容错机制
正在学习storm的大兄弟们,我又来传道授业解惑了,是不是觉得自己会用ack了。好吧,那就让我开始啪啪打你们脸吧。 先说一下ACK机制: 为了保证数据能正确的被处理, 对于spout产生的每一个tuple, storm都会进行跟踪。 这里面涉及到ack/fail的处理,如果一个tuple处理成功是指这个Tuple以及这个Tuple产生的所有Tuple都被成功处理, 会调用spout的...转载 2018-12-24 00:40:55 · 239 阅读 · 0 评论 -
【Storm笔记】09-Storm通信机制
Worker间的通信经常需要通过网络跨节点进行,Storm使用Netty作为进程间通信的消息框架。 Worker进程内部通信:不同worker的thread通信使用LMAX Disruptor来完成。 不同topologey之间的通信,Storm不负责,需要自己想办法实现,例如使用kafka等 1、Worker进程间通信 Worker接受线程通过网络接受数据,并根据Tuple中包含的t...原创 2018-12-22 13:51:56 · 229 阅读 · 0 评论 -
【Storm笔记】08-Storm 任务提交的过程
1、任务提交简图 2、Storm组件本地目录树 3、Storm zookeeper目录树 4、Storm提交过程详细说明原创 2018-12-21 22:38:23 · 255 阅读 · 0 评论 -
【Storm笔记】07-Storm程序的并发机制
1、概念 Workers (JVMs): 在一个物理节点上可以运行一个或多个独立的JVM 进程。一个Topology可以包含一个或多个worker(并行的跑在不同的物理机上), 所以worker process就是执行一个topology的子集, 并且worker只能对应于一个topology Executors (threads): 在一个worker JVM进程中运行着多个Java线程。...原创 2018-12-21 22:25:34 · 127 阅读 · 0 评论 -
【Storm笔记】06-Stream Grouping说明
Storm里面有7种类型的stream grouping Shuffle Grouping: 随机分组, 随机派发stream里面的tuple,保证每个bolt接收到的tuple数目大致相同。 Fields Grouping:按字段分组,比如按userid来分组,具有同样userid的tuple会被分到相同的Bolts里的一个task,而不同的userid则会被分配到不同的bolts里的tas...原创 2018-12-19 23:57:43 · 130 阅读 · 0 评论 -
【Storm笔记】05-单词计数案例
1、功能说明 设计一个topology,来实现对文档里面的单词出现的频率进行统计。 整个topology分为三个部分: RandomSentenceSpout:数据源,在已知的英文句子中,随机发送一条句子出去。 SplitSentenceBolt:负责将单行文本记录(句子)切分成单词 WordCountBolt:负责对单词的频率进行累加 2、Storm程序驱动类 public cla...原创 2018-12-19 23:56:32 · 265 阅读 · 0 评论 -
【Storm笔记】04-Storm集群的进程及日志熟悉
1、部署成功之后,启动storm集群。 依次启动集群的各种角色 2、查看nimbus的日志信息 在nimbus的服务器上 cd /export/servers/storm/logs tail -100f /export/servers/storm/logs/nimbus.log 3、查看ui运行日志信息 在ui的服务器上,一般和nimbus一个服务器 cd /export/serv...原创 2018-12-19 00:25:13 · 1186 阅读 · 0 评论 -
【Storm笔记】03-Storm常用操作命令
有许多简单且有用的命令可以用来管理拓扑,它们可以提交、杀死、禁用、再平衡拓扑。 1、提交任务命令格式:storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】 bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordco...原创 2018-12-19 00:18:25 · 252 阅读 · 0 评论 -
【Storm笔记】02-集群部署
1、集群部署的基本流程 集群部署的流程:下载安装包、解压安装包、修改配置文件、分发安装包、启动集群 注意: 所有的集群上都需要配置hosts vi /etc/hosts 192.168.239.128 storm01 zk01 hadoop01 192.168.239.129 storm02 zk02 hadoop02 192...原创 2018-12-19 00:15:56 · 163 阅读 · 0 评论 -
【Storm笔记】01-Storm简介
1、离线计算是什么? 离线计算:批量获取数据、批量传输数据、周期性批量计算数据、数据展示 代表技术:Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、***任务调度 hivesql 调度平台 Hadoop集群运维 数据清洗(脚本语言) 元数据管理 数据稽查 数据仓库模型架构 2、流式计算是什么 ...原创 2018-12-16 22:48:34 · 118 阅读 · 0 评论