hadoop伪分布式搭建

第一步：
修改主机名：

 hostnamectl set-hostname hadoop

查看主机名：

 hostname

查看虚拟机信息：

hostnamectl

第二步：
添加hadoop用户：

sudo useradd -m hadoop2 -s /bin/bash

设置密码：

sudo passwd hadoop2

第三步：
添加映射：vim /etc/hosts
在第一行添加自己的本机ip和本机名称

第四步：
注意一定要切换到hadoop2用户下操作

设置免密：1.ssh-keygen -t rsa              生成一个公钥和私钥,三次回车
    2.ssh-copy-id hadoop2       将公钥拷贝到hadoop2，输入yes，密码
    3.ssh hadoop2                    测试免密登录成功

第五步：
关闭防火墙：
systemctl disable firewalld 输入两次密码
第六步：
安装jdk

1.切换成root用户，家目录下cd~
2.使用xftp传输文件，传输到那个目录，就在那个目录使用解压命令
3.tar -zxvf jdk-8u101-linux-x64.tar.gz -C /usr/local/     解压到usr/local下
4.配置环境变量           vim /etc/profile 

添加：

export JAVA_HOME=/usr/local/jdk1.8.0_101 
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

注意：jdk-8u-101就是 jdk1.8.0_101
jdk-5u77就是 jdk1.5.0_77

5.是配置环境立即生效 source /etc/profile
6.验证是否成功 java -version
第七步：
安装hadoop：
1.切换到hadoop2用户

ssh  hadoop2

2.使用xftp传输文件1
3.创建一个装hadoop的文件 mkdir -p ~/apps
4.解压

tar -zxvf hadoop-2.7.2.tar.gz -C /home/hadoop2/apps

5.配置文件:
首先：cd /home/hadoop2/apps/hadoop-2.7.2/etc/hadoop 找到文件的位置
创建：

mkdir -p /home/hadoop/data/hadoopdata/name
mkdir -p /home/hadoop/data/hadoopdata/data

1.hadoop-env.sh vim hadoop-env.sh

修改export JAVA_HOME=${JAVA_HOME}为：
export JAVA_HOME=/usr/local/jdk1.8.0_101

         		  注意jdk的路径

2.core-site.xml vim core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop1:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/data/hadoopdata</value>
        </property>
</configuration>

                     	             注意主机名和路径

3.修改hdfs-site.xml vim hdfs-site.xml

<property>
           <name>dfs.namenode.name.dir</name>
            <value>/home/hadoop/data/hadoopdata/name</value>
            <description>为了保证元数据的安全一般配置多个不同目录</description>
</property>

<property>
           <name>dfs.datanode.data.dir</name>
          <value>/home/hadoop/data/hadoopdata/data</value>
           <description>datanode 的数据存储目录</description>
</property>

<property>
           <name>dfs.replication</name>
           <value>2</value>
           <description>HDFS 的数据块的副本存储个数, 默认是 3</description>
</property>    

注意路径dfs.replication是数据需要备份的数量，默认是3，如果此数大于集群的机器数会出错。
4.mapred-site.xml vim mapred-site.xml
首先：cp mapred-site.xml.template mapred-site.xml

<property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
</property>

指明hadoop的MR将来运行于YARN上。Yarn为资源调度系统（可运MR,STORM,SPARK等计算框架）
5.yarn-site.xml vim yarn-site.xml

<property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
           <description>YARN 集群为 MapReduce 程序提供的 shuffle 服务</description>
</property>

Nodemanager获取数据方式为shuffle方式；指定yarn的resourcemanager的地址。主机名或对应的IP地址均可。（无空格）
6.配置环境变量：
vim ~/.bashrc
添加：

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

注意路径和hadoop版本
7.是配置立即生效：

source ~/.bashrc

8.查看hadoop版本：

hadoop version

10.初始化:

hadoop namenode -format

11.启动：

cd /home/hadoop/apps/hadoop-2.7.6
sbin/start-dfs.sh
sbin/start-yarn.sh
jps