Linux下CentOS系统安装及Hadoop伪分布式搭建

1.安装VMware

2.下载CentOS镜像

国内阿里镜像 （推荐下载下载64-DVD-1810.iso版本）
添加到VMware中
之后要设置网络，能正常上网
(下面教程均使用root账号,来操作)

3.查看Java是否安装 ，重新下载java

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.rpm

chmod  +x jdk-8u131-linux-x64.rpm

rpm -ivh jdk-8u131-linux-x64.rpm

配置环境变量：vim /etc/profile

#JAVA
export JAVA_HOME=/usr/java/jdk1.8.0_131
export PATH=$JAVA_HOME/bin:$PATH

4.下载hadoop

国外镜像
存在下慢推荐使用镜像

5.安装

配置环境变量： vim /etc/profile

#hadoop
export HADOOP_HOME=/opt/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

6.创建伪分布式

hadoop/etc/hadoop目录下的配置文件*.xml
core-site:

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost/</value>
  </property>
</configuration>

hdfs-site:

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

mapper-sit:

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

yarn-sit:

<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

在hadoop-env.sh中修改JAVA_HOME为JAVA的绝对路径

7.测试ssh免密登录

ssh-keygen
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_key
ssh localhost (成功则不需要输入秘密直接成功)

8.启动hadoop前需要格式hdfs

hadoop/sbin/start-dfs.sh

9.启动YARN

10.使用hdfs