虚拟机搭建Hadoop集群

先安装几台虚拟机：
命令：vi /etc/sysconfig/network-scripts/ifcfg-eth0 //配置静态IP和网络连接
ONBOOT=“yes”
BOOTPROTO=“static”
IPADDR=“192.168.110.10”
NETMASK=“255.255.255.0”
GATEWAY=“192.168.110.1”
DNS1=“192.168.110.1”

命令：service network restart //重启网卡

命令：vi /etc/sysconfig/network //配置主机名
HOSTNAME=qiku
GATEWAY=192.168.110.1

命令：vi /etc/hosts //配置别名
192.168.110.10 qiku
192.168.110.11 qiku1
192.168.110.12 qiku2
192.168.110.13 qiku3

命令：chkconfig iptables off //关闭防火墙

hello（本虚拟机名）
安装ssh免密
命令：ssh-keygen -t rsa
命令：cd /root/.ssh //进入.ssh目录下
命令：ls //查看文件

命令：cat id_rsa.pub >>authorized_keys //创建公钥

命令：ssh hello //验证是否生效
命令：ssh-copy-id -i hello2 //将qiku上的公钥拷贝到hello1(hello2,hello3)的公钥文件中
命令：ssh hello2 //验证是否生效

安装JDK
先在opt目录下新建mysoft目录方便管理
把jdk-8u131-linux-x64.tar.gz压缩包上传到mysoft目录下

命令：cd /opt/mysoft //进入到 /opt/mysoft目录下

命令：tar -zxvf jdk-8u131-linux-x64.tar.gz //解压文件

命令：mv jdk-8u131-linux-x64 jdk //修改解压过的文件名 便于管理

命令：vi /etc/profile //配置环境变量
export JAVA_HOME=/opt/mysoft/jdk
export PATH=$PATH:$JAVA_HOME/bin:$PATH

命令：source /etc/profile (使设置生效)

命令：Java -version //验证JDK

安装Hadoop
把hadoop-2.7.4.tar.gz压缩包上传到mysoft目录下

命令：tar -zxvf hadoop-2.7.4.tar.gz //解压文件

命令：mv hadoop-2.7.4 hadoop //把解压过的文件改名 便于管理

命令：cd /opt/mysoft/Hadoop //进入到 /opt/mysoft/Hadoop目录下

命令：mkdir logs //创建目录 （因为后面要用到）
命令：mkdir tmp
命令：mkdir -p tmp/dfs/name //创建多级目录
命令：mkdir -p tmp/dfs/data

//修改配置文件
命令：cd /opt/mysoft/hadoop/etc/hadoop //进入到/opt/mysoft/hadoop/etc/hadoop目录下（下面要修改的文件都是在该目录下）

//要想在hadoop集群中让mapreduce程序以分布式方式运行（mapreduce也可以以local方式运行,也就是单机）
//就要有一个对这个程序进行分发任务到各个nodeManager机器上运行，就要监控这些任务运行，分配资源（CPU,内存等）
//运行中的各类异常处理和恢复等，这个就是 yarn框架能完成的,也称为：资源调度器。这些信息就通过mapred-site.xml配置。
命令：vi mapred-site.xml //配置


mapreduce.framework.name
yarn


mapreduce.jobhistory.address
qiku:10020


mapreduce.jobhistory.webapp.address
qiku:19888


mapreduce.jobtracher.http.address
qiku:50030

//下面tmp为上面自己手动创建的目录。
//
命令：vi core-site.xml //配置


fs.defaultFS
hdfs://192.168.110.10:9000


hadoop.tmp.dir
file:/opt/mysoft/hadoop/tmp

hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups *

//下面的tmp/dfs/name 和tmp/dfs/data目录是上面手动创建的。
//dfs.replication 设置数据保存份数 。dfs.permissions:是否开启权限检查，false不设权限
命令：vi hdfs-site.xml //配置


dfs.namenode.secondary.http-address
qiku:50090


dfs.replication
3


dfs.namenode.name.dir
file:/opt/mysoft/hadoop/tmp/dfs/name


dfs.datanode.data.dir
file:/opt/mysoft/hadoop/tmp/dfs/data


dfs.permissions
false

//Yarn-site.xml文件中配置yarn中的主节点（resourcemanager）和工作节点(nodemanager)
命令：vi yarn-site.xml //配置


yarn.nodemanager.resource.memory-mb
1540


yarn.nodemanager.resource.cpu-vcores
1


yarn.resourcemanager.hostname
qiku


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.vmem-check-enabled
false


yarn.log-aggregation-enable
true

//配置Hadoop工作时的部分环境变量，配置JDK
命令：vi hadoop-env.sh
export JAVA_HOME=/opt/mysoft/jdk

//配置hadoop 环境变量
命令：vi /etc/profile
export HADOOP_HOME=/opt/mysoft/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOO{P}_{H}OME/sbin:$PATH

//配置slaves (指定dataNode,nodeManager节点),配置slaves的目的，
//是确定哪些机器上运行 yarn框架下的 nodeManager进程和对应的DataNode进程
命令：vi slaves //配置
qiku1
qiku2
qiku3

命令：source /etc/profile (使设置生效)

qiku
拷贝jdk，hadoop，环境变量profile文件到相应目录
命令：scp -r /opt/mysoft/jdk qiku1:/opt/mysoft/jdk
命令：scp -r /opt/mysoft/hadoop qiku1:/opt/mysoft/hadoop
命令：scp -r /etc/profile qiku1:/etc/profile

拷贝过得虚拟机要设置环境变量生效
命令：source /etc/profile (使设置生效)

命令：hadoop namenode –format （首次安装集群后执行，只执行一次，生成元数据信息相关格式描述文件等信息，类似数据字典）

命令：start-all.sh （若只用存储，可以不开启yarn : start-dfs.sh）

命令：jps //查看开启服务
qiku
4023 ResourceManager
4776 Jps
3641 NameNode
3870 SecondaryNameNode

qiku1,qiku2
3107 DataNode
3205 NodeManager
3627 Jps

在虚拟机浏览器qiku:50070 查看集群信息