![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Storm
文章平均质量分 88
VessalasdXZ
PC高级设计师
展开
-
几种大数据框架的对比
hadoop(批量,离线,非实时)主要用于搜索引擎,文件存储等等, Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的原创 2016-01-06 22:08:14 · 5732 阅读 · 0 评论 -
Storm里面fieldsGrouping和Field的概念详解
这个Field通常和fieldsGrouping分组机制一起使用,这个Field特别难理解,我自己也是在网上看了好多文章,感觉依旧讲的不是很清楚,是似而非,没有抓到重点。这个问题足足困扰了我3-4天时间,一直理解不了Field的概念,当前我觉得new Fields("word")就相当于表的表头,就是定义这个域,这个域里面放的东西,是emit进去的Spouts---原创 2016-01-06 22:25:22 · 11052 阅读 · 2 评论 -
Storm Grouping机制详解(包含两篇参考资料)
参考资料1:shuffleGrouping将流分组定义为混排。这种混排分组意味着来自Spout的输入将混排,或随机分发给此Bolt中的任务。shuffle grouping对各个task的tuple分配的比较均匀。fieldsGrouping这种grouping机制保证相同field值的tuple会去同一个task,这对于WordCount来说非常关键,如果同一个单词不转载 2016-01-06 22:30:55 · 6456 阅读 · 0 评论 -
Window7安装开发Storm遇到的错误总结
错误1:JAVA安装的路径不能有空格正确:C:\Java\jdk1.6.0_43错误:C:\Program Files (x86)\Java\jdk1.6.0_43报信息:'Files' 不是内部或外部命令,也不是可运行的程序或批处理文件。Error: JAVA_HOME is incorrectly set.此时不应有 \Java\jdk1.6.0_43\lib\dt.jar原创 2016-01-06 22:33:53 · 2156 阅读 · 1 评论 -
Storm基本概念
Storm基本概念在运行一个Storm任务之前,需要了解一些概念:TopologiesStreamsSpoutsBoltsStream groupingsReliabilityTasksWorkersConfigurationStorm集群和Hadoop集群表面上看很类似。但是Hadoop上运行的是MapReduce jobs,而在Storm上运行的是拓扑(topology转载 2016-01-07 22:12:36 · 865 阅读 · 0 评论