Hadoop学习（一）环境安装和集群创建

虚拟机使用vmware，vmware可以直接百度下载安装 秘钥也能百度到 安装很简单

CentOS 7下载：
进入官网 https://www.centos.org/download/
这里有三种 第一个是标准版 第二个是全部版 第三个是最小版 每个版本的大小都不一样，这里选择标准版下载。点第一个标准版进入镜像http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso这里面有不同的镜像，找一个自己下载快的链接下载就好了。

CentOS 7.3 安装指南
https://www.cnblogs.com/wcwen1990/p/7630545.html
https://linux.cn/article-8048-2.html

关闭防火墙，CentOS7 禁用防火墙跟6不一样

firewall-cmd --reload #重启firewall
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）
systemctl status firewalld

使用Xshell 连接linux主机。在自己Windows电脑找到:c\windows\system32\drivers\etc\host 配置主机的ip 比如：host中加入下面两句

192.168.1.76  master
192.168.1.106  slave

Xshell 上传下载命令 rz，sz

CentOS 7系统下配置自定义JDK的教程
http://www.jb51.net/article/116666.htm

export JAVA_HOME=/home/chs/java/jdk1.8.0_171
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

安装jdk后出如果现bash: ./java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录，原因应该是安装了32位的jdk , 解决办法。最好还是重新安装64位的
第一种 sudo yum install glibc.i686
第二种 安装64位的jdk

Hadoop环境变量
vim /etc/profile

export HADOOP_HOME=/home/chs/hadoop/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile

配置hadoop参数

第一步 进入

vim hadoop-env.sh 

找到

export JAVA_HOME=${JAVA_HOME}
修改为
export JAVA_HOME=/home/chs/java/jdk1.8.0_171

第二步 修改core-site.xml

vim core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>// master是你的主机名字
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/chs/hadoopdata</value>//存放临时数据
</property>
</configuration>

第三步配置hdfs-site.xml

vim hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>  //赋值备份
<value>1</value>//hadoop集群默认有3份数据  1是伪分布式
</property>
</configuration>

第四步 配置yarn-site.xml

vim yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
</configuration>

第五步 配置mapred-site.xml

如果没有这个文件应该有mapred-site.xml.template 复制一份 或 者重命名也行

cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>//把yarn平台做MapReduce的框架
</property>
</configuration>

配置ip
vim /etc/hosts

192.168.1.120  slave
192.168.1.119  master

设置ssh免密码登录

ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
将master中的秘钥复制到slave中
scp ~/.ssh/authorized_keys slave:~/.ssh
将slave中的秘钥复制到master中
scp id_rsa.pub master:~/.ssh/authorized_keys

如果是伪分布式可以直接格式化重启了，如果不是伪分布式，那就配置slaves附属节点

配置从节点文件 slaves
vim slaves
localhost 改为 slave
复制到从节点中
scp slaves slave:/home/chs/hadoop-2.7.3/etc/hadoop

格式化HDFS 创建namenode的文件结构

hadoop namenode -format   或者 hdfs namenode -format

启动Hadoop
先启动HDFS： start-hdfs.sh
在启动yarn : start-yarn.sh
或者一步到位 start-all.sh
查看是否启动成功 jps

启动之后会看到几个进程：
HDFS的进程：NameNode , DataNode , SecondryNameNode
Yarn的进程 ：NodeManager , SourceManager

其中master 中的进程是 ： NameNode ，SecondryNameNode ，SourceManager
slave中的进程是：DataNode ，NodeManager

浏览器中： 输入 http://master:50070/ 和 http://master:18088 来检查。

OK完成