Hadoop
Borny鼎鼎
我想,我也是个匠人,砌代码的。
展开
-
Hadoop集群环境的搭建
1、下载hadoop-2.7.1.tar.gz,并将文件保存到/opt目录下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz2、使用cd命令切换到/opt目录并解压hadoop-2.7.1.tar.gz[root@localhost opt]# tar -zxvf h原创 2016-11-24 23:00:55 · 742 阅读 · 0 评论 -
HDFS命令行操作
1、HDFSHadoop分布式文件系统,为海量的数据提供了存储。2、HDFS基本概念(1)块HDFS的文件被分成块进行存储,HDFS块的默认大小是64MB,块是文件存储处理的逻辑单元。(2)节点HDFS集群有两类节点,并以管理者-工作者模式运行,即一个NameNode(管理者,管理节点,存放元数据)和多个DataNode(工作者,工作节点,存放数据块)。一个HDFS c原创 2016-11-26 12:29:37 · 4636 阅读 · 0 评论 -
MapReduce的原理和运行流程
1、MapReduceHadoop并行计算框架,为海量的数据提供了计算。2、MapReduce的原理分而治之,一个大任务分成多个小的子任务(map),并行执行后,合并结果(reduce)。3、基本概念(1)Job作业,表示MapReduce程序,一个MapReduce程序可对应若干个作业,而每个作业会被分解成若干个MapReduce任务(Task)。(2)Task原创 2016-11-27 23:28:36 · 1681 阅读 · 0 评论