Storm笔记
一直不懂
笔记
展开
-
【Storm笔记】10-Storm 消息容错机制
正在学习storm的大兄弟们,我又来传道授业解惑了,是不是觉得自己会用ack了。好吧,那就让我开始啪啪打你们脸吧。先说一下ACK机制: 为了保证数据能正确的被处理, 对于spout产生的每一个tuple, storm都会进行跟踪。 这里面涉及到ack/fail的处理,如果一个tuple处理成功是指这个Tuple以及这个Tuple产生的所有Tuple都被成功处理, 会调用spout的...转载 2018-12-24 00:40:55 · 244 阅读 · 0 评论 -
【Storm笔记】09-Storm通信机制
Worker间的通信经常需要通过网络跨节点进行,Storm使用Netty作为进程间通信的消息框架。Worker进程内部通信:不同worker的thread通信使用LMAX Disruptor来完成。不同topologey之间的通信,Storm不负责,需要自己想办法实现,例如使用kafka等1、Worker进程间通信Worker接受线程通过网络接受数据,并根据Tuple中包含的t...原创 2018-12-22 13:51:56 · 246 阅读 · 0 评论 -
【Storm笔记】08-Storm 任务提交的过程
1、任务提交简图2、Storm组件本地目录树3、Storm zookeeper目录树4、Storm提交过程详细说明原创 2018-12-21 22:38:23 · 260 阅读 · 0 评论 -
【Storm笔记】07-Storm程序的并发机制
1、概念Workers (JVMs): 在一个物理节点上可以运行一个或多个独立的JVM 进程。一个Topology可以包含一个或多个worker(并行的跑在不同的物理机上), 所以worker process就是执行一个topology的子集, 并且worker只能对应于一个topology Executors (threads): 在一个worker JVM进程中运行着多个Java线程。...原创 2018-12-21 22:25:34 · 133 阅读 · 0 评论 -
【Storm笔记】06-Stream Grouping说明
Storm里面有7种类型的stream groupingShuffle Grouping: 随机分组, 随机派发stream里面的tuple,保证每个bolt接收到的tuple数目大致相同。 Fields Grouping:按字段分组,比如按userid来分组,具有同样userid的tuple会被分到相同的Bolts里的一个task,而不同的userid则会被分配到不同的bolts里的tas...原创 2018-12-19 23:57:43 · 136 阅读 · 0 评论 -
【Storm笔记】05-单词计数案例
1、功能说明设计一个topology,来实现对文档里面的单词出现的频率进行统计。整个topology分为三个部分:RandomSentenceSpout:数据源,在已知的英文句子中,随机发送一条句子出去。 SplitSentenceBolt:负责将单行文本记录(句子)切分成单词 WordCountBolt:负责对单词的频率进行累加2、Storm程序驱动类public cla...原创 2018-12-19 23:56:32 · 275 阅读 · 0 评论 -
【Storm笔记】04-Storm集群的进程及日志熟悉
1、部署成功之后,启动storm集群。依次启动集群的各种角色2、查看nimbus的日志信息在nimbus的服务器上cd /export/servers/storm/logstail -100f /export/servers/storm/logs/nimbus.log3、查看ui运行日志信息在ui的服务器上,一般和nimbus一个服务器cd /export/serv...原创 2018-12-19 00:25:13 · 1218 阅读 · 0 评论 -
【Storm笔记】03-Storm常用操作命令
有许多简单且有用的命令可以用来管理拓扑,它们可以提交、杀死、禁用、再平衡拓扑。1、提交任务命令格式:storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordco...原创 2018-12-19 00:18:25 · 262 阅读 · 0 评论 -
【Storm笔记】02-集群部署
1、集群部署的基本流程集群部署的流程:下载安装包、解压安装包、修改配置文件、分发安装包、启动集群注意: 所有的集群上都需要配置hosts vi /etc/hosts 192.168.239.128 storm01 zk01 hadoop01 192.168.239.129 storm02 zk02 hadoop02 192...原创 2018-12-19 00:15:56 · 170 阅读 · 0 评论 -
【Storm笔记】01-Storm简介
1、离线计算是什么? 离线计算:批量获取数据、批量传输数据、周期性批量计算数据、数据展示 代表技术:Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、***任务调度hivesql 调度平台 Hadoop集群运维 数据清洗(脚本语言) 元数据管理 数据稽查 数据仓库模型架构2、流式计算是什么...原创 2018-12-16 22:48:34 · 126 阅读 · 0 评论