Hadoop结构与完全分布式搭建

Hadoop组成

HDFS结构

yarn结构

MapReduce

搭建步骤

一.Hadoop搭建需javaJKD

首先准备三台安装javaJKD并且配置环境变量的虚拟机
环境变量文件：etc/profile

二.配置ssh免密登录

目的是用shell登陆远程服务，但每个登陆都需要输入密码就非常麻烦，所有需要配置无密配置，需要在NameNode上生成私钥，把公钥发给DataNode

在master（第一台虚拟机）中先获得公钥
ssh-keygen -t rsa -P 

公钥生成后在root目录下的.ssh会生成

id_rsa和id_rsa.pub两个文件
将公钥（id_rsa.pub）复制到其他两个虚拟机中

scp id_rsa.pub root@192.168.56.22:/root/.ssh/

此时就可以用主机对另外两台虚拟机进行免密登录

将三台虚拟机改名：
hostnamectl set-hostname xxx

绑定其他另外两台虚拟机ip和名称
vi /etc/hosts

这时就可以不使用ip ，用虚拟机名登录

三.Hadoop的环境变量配置

在/etc/profile中
Shift+g 到末尾 添加

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_221（改成自己的）
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.6.0-cdh5.14.2（改成自己的）
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

四.配置文件

存放配置文件的目录

第一个配置文档
用来定义hadoop运行环境相关的配置信息
hadoop-env.sh
25行左右配置JAVA_HOME

第二个配置文档
用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等
core-site.xml
在文件末尾添加
fs.defaultFS
当前hadoop文件系统端口地址

hadoop.tmp.dir
存储临时文件的地址

后面两个
设置跨域信息设置hdfs权限
当其他机器访问hadoop，如果对方为root就可以登录

第三个配置文档
用于名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等
hdfs-site.xml
在文件末尾添加

第四个配置文档
用于包括JobHistory Server 和应用程序参数两部分，如reduce任务的默认个数、任务所能够使用内存的默认上下限等，此处之配置了开启计算引擎yarn
Hadoop在当前目录中提供一个mapred-site.xml模板
拷贝一份之后编辑不是模板的.xml文件
cp mapred-site.xml.template mapred-site.xml

第五个配置文档

配置ResourceManager ，nodeManager的通信端口，web监控端口等

yarn-site.xml

五.后续

添加其他两台虚拟机名
vi slaves

拷贝当前hadoop文件到其他两台虚拟机

scp -r /opt/module/hadoop-2.6.0-cdh5.14.2/ root@192.168.56.21（另外虚拟机的IP）:/opt/modu（目录）
scp -r /opt/module/hadoop-2.6.0-cdh5.14.2/ root@192.168.56.22:/opt/modu

格式化namenode
hdfs namenode -format

启动
切换到hadoop下sbin目录
运行./start-all.sh

查看线程jps