storm
麦才坚
这个作者很懒,什么都没留下…
展开
-
hdfs详解
******HDFS基本概念篇******1. HDFS前言l 设计思想分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析; l 在大数据系统中作用:为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务 l 重点概念:文件切块,副本存放,元数据 2. HDFS的概念转载 2018-01-21 21:30:25 · 258 阅读 · 0 评论 -
storm集群安装部署
1、 集群部署的基本流程集群部署的流程:下载安装包、解压安装包、修改配置文件、分发安装包、启动集群注意: 所有的集群上都需要配置hosts vi /etc/hosts192.168.239.128 storm01 zk01 hadoop01 192.168.239.129 storm02 zk02 hadoop02 192.168.239.130 storm03 zk03...原创 2018-02-09 12:37:58 · 169 阅读 · 0 评论 -
wordscount实例讲解storm生命周期
Storm单词技术案例(重点掌握)7.1、功能说明设计一个topology,来实现对文档里面的单词出现的频率进行统计。整个topology分为三个部分:l RandomSentenceSpout:数据源,在已知的英文句子中,随机发送一条句子出去。l SplitSentenceBolt:负责将单行文本记录(句子)切分成单词l WordCountBolt:负责对单词的频率进行累加7.2、项目主要流程...原创 2018-02-09 14:01:46 · 240 阅读 · 0 评论 -
storm 工作原理详解
1.1、概念l Workers (JVMs): 在一个物理节点上可以运行一个或多个独立的JVM进程。一个Topology可以包含一个或多个worker(并行的跑在不同的物理机上),所以worker process就是执行一个topology的子集,并且worker只能对应于一个topology l Executors (threads): 在一个worker JVM进程中运行着翻译 2018-02-07 16:52:31 · 1620 阅读 · 0 评论