hadoop
qq_28808697
这个作者很懒,什么都没留下…
展开
-
hadoop --MapReduce
MapReduce 分布式计算,移动计算而不是移动数据 步骤:split - map - shuffle - reduce split : 把数据切成片段(计算框架自动做)。split块的大小与block相同。 Map : 跟程序员编写的代码相关。(java程序) shuffle : 合并、排序 reduce : reduce 的个数由程序决定。 当ma...原创 2018-04-16 09:37:39 · 157 阅读 · 0 评论 -
大数据平台Hadoop之HDFS HA的搭建
大数据平台Hadoop之HDFS HA的搭建摘要:Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。在Hadoop ...原创 2018-03-29 08:21:16 · 338 阅读 · 0 评论 -
storm 集群搭建
1、zookeeper搭建 参考: 1)Clustered (Multi-Server) Setup 2、storm集群搭建 参考: 1)Setting up a Storm Cluster 2)Storm介绍及安装部署 3)storm集群安装与部署 storm单机环境部署 1、zookeeper单机环境部署 参考:http://zookeeper.apache.org/...原创 2019-06-13 15:02:51 · 106 阅读 · 0 评论