hadoop
文章平均质量分 84
ilvest
这个作者很懒,什么都没留下…
展开
-
Hadoop集群完全分布式搭建教程-CentOS
本篇在前一篇《Hadoop单机模式和伪分布式搭建教程》的基础上完成完全分布式的搭建,所以本篇的前提是已经按照之前的教程完成了伪分布式的安装。注意截图中的slaver应该是slave,哈哈,搭建的时候多打了r,没弄清slaver和slave的区别。1. 说明 本教程中电脑为8G内存,故而将使用四个节点作为集群环境,其中一个为master,3个为slave(转载 2017-03-23 07:24:37 · 426 阅读 · 0 评论 -
Hadoop单机模式和伪分布式搭建教程CentOS
首先说明一下:采用的是新装的CentOS的环境,利用xshell进行远程操作来搭建Hadoop单机模式,伪分布式和完全分布式的文档。环节都是一环套一环,有先后顺序存在。本人是在win8.1 64位系统环境下,并且安装的Cent OS也是64位,故所有相关软件都是64位的。此教程只要照着做,都可以完成,祝大家成功!系统和软件以及版本说明:系统和软件转载 2017-03-23 07:26:05 · 304 阅读 · 0 评论 -
MapReduce:详解Shuffle过程
最近都在学习Hadoop,目前对hdfs,mapreduce,Hive,zookeeper,Hbase有了基本的认识和了解,搭建了相关开发环境等。现在在进行进一步的学习,看到这篇关于Shuffle过程的详解,觉得写得不错,故而转载。关于自己的学习笔记,也想分享到博客来,但是由于平时工作都是在加紧新东西的学习,故而没有时间整理发布,但是我认为整理是学习的必须阶段,故而想利用接下来的一个大长假对这两个转载 2017-03-23 14:03:06 · 546 阅读 · 0 评论