大数据-Hadoop伪分布式安装

一、Hadoop安装方式

1.Local (Standalone) Mode

单机安装方式，如果不进行配置，这是Hadoop的默认方式，作为一个单独的Java
运行。适合于本地调试程序。
不需要对配置文件进行修改
使用本地文件系统，而不是HDFS

2.Pseudo-Distributed Mode

伪分布式安装方式
在一台机器上模拟多主机运行状态。Hadoop会启动NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager节点，
但是在一台机器上运行。
使用HDFS(分布式文件系统)
需要修改配置文件

3.Fully-Distributed Mode

完全分布式

二、Hadoop安装环境要求

1.需要安装jdk环境

java -version
如果没有安装jdk环境，需要先安装jdk环境，因为Hadoop是运行在Java环境的

三、创建Hadoop用户

1.增加hadoop用户

useradd -m hadoop -s /bin/bash

2.创建hadoop用户密码

passwd hadoop

3.查看hadoop用户是否存在以及所在组

cat /etc/passwd  //查看用户命令

cat /etc/group //查看组命令

4.root用户切换到hadoop用户

su hadoop //从超级用户(root)切换到普通用户不需要密码

三、Hadoop安装

1.下载Hadoop压缩包
本安装使用的是hadoop2.8.5版本 下面是官方下载地址
https://archive.apache.org/dist/hadoop/common/hadoop-2.8.5/

2.解压Hadoop压缩包

tar -axvf hadoop-2.8.5.tar.gz

3.修改配置文件(/home/hadoop/hadoop-2.8.5/etc/hadoop)

//在本地查看java_home位置
echo $JAVA_HOME

(1)修改hadoop-env.sh文件

把JAVA_HOME修改为自己的环境位置

(2)修改core-site.xml文件 把configuration里面内容修改为如下(其中HDFS端口号9000 需要记住 后面spark请求HDFS中文件需要用到)

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/hadoop-2.8.5/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
~                     

(3)修改hdfs-site.xml文件

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/hadoop-2.8.5/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/hadoop-2.8.5/tmp/dfs/data</value>
    </property>
</configuration>

因为是伪分布模式，所以副本的数量设置为1就可以。

(4)配置Hadoop环境变量(可不配置 需要进入Hadoop的bin目录去执行开启进程脚本)

//修改profile文件
sudo vim /etc/profile

进入以后配置HADOOP_HOME变量，并在PATH中添加

执行命令 让其立即生效

source /etc/profile

4.配置ssh免密登录
因为伪分布式只有一台机器 只需要设置在本机免密登录就可以
(1)生成公钥私钥对只需要一直按Enter就可以

ssh-keygen -t rsa

(2)暴露公钥 （执行命令后 提示输入yes 并再次输入hadoop用户密码）

ssh-copy-id localhost

免密登录完成

5.启动hadoop (因为只配置了hdfs，没有配置yarn，所以不要用start-all.sh脚本)
(1) 格式化

hadoop namenode -foramt

如果出现如下标记 格式化成功

(2)启动hadoop

start-dfs.sh

(3)jsp查看

jps

说明启动成功。