Centos 7.5 下Hadoop 2.7.6 伪分布式安装

Centos 7.5 下Hadoop 2.7.6 伪分布式安装，安装JDK，SSH免密匙登录，配置mapreduce，配置YARN。详细步骤如下：

1. 准备工作
   从Centos官网下载Centos7.5镜像，安装在VMware虚拟机上并创建一个用户名为Hadoop的用户，接着从Apache官网下载Hadoop 2.7.6.tar.gz，在Oracle官网下载jdk-8u181-linux-x64.tar.gz版本，并将Hadoop及JDK一起拷贝进虚拟机。
2. 安装JDK
   Centos系统绝大部分自带openjdk，在终端输入java -version查看是否自带openjdk
   
   在此发现该系统自带openjdk，为方便我们将在接下来的步骤中删除自带openjdk，安装自己下载的JDK1.8版本
   在终端中输入rpm -qa | grep java查看openjdk源
   
   用rpm -e --nodeps命令依次删除openjdk，期间要输入su命令及密码获取权限，可在删除操作后再次输入rpm -qa | grep java检验是否删除干净
   
   使用tar -zxf/home/hadoop/桌面/jdk-8u181-linux-x64.tar.gz -C /opt命令将JDK解压缩至/opt路径下，并使用vim /etc/profile.d/java.sh命令配置JDK环境变量：

JAVA_HOME=/opt/jdk1.8.0_181
JRE_HOME=/opt/jdk1.8.0_181/jre
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
PATH=$JAVA_HOME/bin:$PATH

最后使用source /etc/profile.d/java.sh命令让配置生效

3. SSH免密匙登录
   使用ssh localhost命令查看是否免密登录，若不能免密，则选择yes选项后输入密码，接着输入ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa配置免密钥登录
   
   接着输入cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys及chmod 0600 ~/.ssh/authorized_keys两条命令，并再次输入ssh localhost查看是否可以免密登录
   
4. 安装Hadoop
   使用tar -zxf /home/hadoop/桌面/hadoop-2.7.6.tar.gz -C /opt命令将Hadoop解压缩至/opt下，使用cd /opt/hadoop-2.7.6命令进入目录，使用vim etc/hadoop/hadoop-env.sh命令修改hadoop-env.sh增加JAVA_HOME路径export JAVA_HOME=/opt/jdk1.8.0_181，最后使用bin/hadoop可查看Hadoop支持的命令
   

5. 配置Mapreduce
   使用vim etc/hadoop/core-site.xml命令编辑core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>

使用vim etc/hadoop/hdfs-site.xml命令编辑hdfs-site.xml

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

最后使用bin/hdfs namenode -format格式化

有输出以下信息则为配置成功

即可用sbin/start-dfs.sh开启mapreduce，可用jps命令查看是否启动成功，在系统自带的火狐浏览器访问http://localhost:50070/即可访问


若要运行mapreduce案例，则输入

bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/Gincar
bin/hdfs dfs -put etc/hadoop input

若出现输入错误，则手动创建

bin/hadoop fs -mkdir -p input

输入bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'运行案例
若要查看文件则输入bin/hadoop dfs -ls，停止mapreduce则使用sbin/start-dfs.sh命令

6. YARN配置
   使用mv etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml命令重命名配置文件，接着使用vim etc/hadoop/mapred-site.xml编辑配置文件

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

使用vim etc/hadoop/yarn-site.xml命令编辑yarn-site.xml

<configuration>  
	<property>   
		<name>yarn.nodemanager.aux-services</name
		<value>mapreduce_shuffle</value>  
	</property> 
</configuration>

最后使用sbin/start-yarn.sh命令启动后访问http://localhost:8088/即可完成安装