搭建伪分布式

Hadoop的伪分布式即搭建一个节点的分布式系统

1.前提准备

第一步：把hadoop安装包放到文件夹里，

第二部修改三个节点的时间

第三步，修改主机名

hostnamectl set-hostname hadoop01

第四步（可以先把jdk以及mysql安装到系统中，方便后续使用）

2.配置环境变量

将安装包解压到对应目录

命令：tar xvf hadoopxxxx -C /soft

这时打开我们解压的目录会发现已经解压好

创建软连接

ln -s hadoop-2.7.3 hadoop

配置环境变量

vi /etc/profile

export HADOOP_HOME=/soft/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使环境变量生效

source /etc/profile

3.配置系统文件--

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

修改配置文件

进入当前目录

修改五个配置文件

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

1.      修改配置文件：core-site.xml

//先对原配置文件进行备份

cp core-site.xml core-site.xml.bak

vi core-site.xml

//修改原文件，内容如下：

<?xml version="1.0"?>
<configuration>
       <property>
              <name>fs.defaultFS</name>
              <value>hdfs://localhost/</value>
       </property>
</configuration>

2.      修改配置文件：hdfs-site.xml

//先对原配置文件进行备份

cp hdfs-site.xml hdfs-site.xml.bak

vi hdfs-site.xml

//修改原文件，内容如下：

<?xml version="1.0"?>
<configuration>
       <property>
              <name>dfs.replication</name>
              <value>1</value>
              </property>
</configuration>

3.      修改配置文件：mapred-site.xml

//从样例模板中复制配置文件

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

//修改文件，内容如下：

<?xml version="1.0"?>
<configuration>
       <property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
       </property>
</configuration>

4.      修改配置文件：yarn-site.xml

//先对原配置文件进行备份

cp yarn -site.xml yarn -site.xml.bak

vi yarn -site.xml

//修改原文件，内容如下：

<?xml version="1.0"?>
    <configuration>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>localhost</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>

hadoop-env.sh

将26行中的JAVA_HOME修改为本地java安装目录的绝对路径

export JAVA_HOME=/soft/jdk

注意修改配置文件养成 做备份的习惯

4.配置ssh免密

ssh免密

步骤：

1.      检查是否安装了ssh相关软件包

//查看是否有(openssh-server + openssh-clients + openssh)这些yum安装包

yum list installed | grep ssh

2.      检查是否启动了sshd进程

ps -Af | grep sshd

3.      在client侧生成公私秘钥对

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

//将会生成~/.ssh文件夹，里面有id_rsa(私钥) 和 id_rsa.pub(公钥)2个文件

4.      追加公钥到~/.ssh/authorized_keys文件中

//文件authorized_keys的名称及位置是固定

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

5.      修改authorized_keys的权限为644.

chmod 644 authorized_keys

6.      测试

ssh localhost//第一次会提示，输入yes即可，后续将直接登录

 

5.启动hdfs

1.      初始化hadoop

hadoop namenode -format

2.      启动hadoop

start-all.sh

3.      查看hadoop进程

jps

4.      查看hadoop的根目录内容

hdfs dfs -ls /

5.      在hadoop上创建目录

hdfs dfs -mkdir -p /user/hadoop

6.      查看防火墙状态

systemctl status firewalld.service

7.      如果防火墙开启则关闭防火墙

systemctl stop firewalld.service

8.      设置开机自动禁用防火墙

systemctl disable firewalld.service

9.      再次查看防火墙状态

systemctl status firewalld.service

10.   通过webui查看hadoop的文件系统

//在浏览器上输入：http://192.168.50.104:50070/  ，xxx为对应hadoop安装的主机IP