Centos7下hadoop安装与伪分布式搭建，详细

最近在学习大数据，需要用到hadoop，记录一下在centos7系统下搭建的步骤，与碰到的问题

对于hadoop环境的搭建与安装首先需要明白自己要做什么（初学者不要一股脑的照着网上的教程敲敲敲，事后却不知道自己在做什么），这是我总结的一些步骤：

1. 安装java，配置java环境变量
2. 解压hadoop，配置hadoop环境变量
3. 修改ssh通讯，修改为免密码登录
4. 修改Hadoop配置文件
5. 启动hadoop，访问Namenode管理页面
6. 运行WordCount样例查看效果

以上就是完整安装步骤，下面正式开始：

1、安装java，配置Java环境

下载java，去oracle官网下载java二进制文件到本地，使用wget命令(命令解释：前面为设置cookie，用来同意oracle的协议，如果不设置，就会下载失败，只有几K大小，后面的为jdk的下载地址，我这里下载的是jdk 1.8)

wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" https://download.oracle.com/otn-pub/java/jdk/8u201-b09/42970487e3af4f5aa5bca3f542482c60/jdk-8u201-linux-x64.tar.gz

去/usr/local文件目录下创建一个java文件夹（为了方便管理，软件一般放在/usr/local该目录下）,进入/usr/local/java目录，把下载好的jdk解压到该文件夹下

sudo mkdir /usr/local/java

cd /usr/local/java

sudo tar -xzvf 上一步中下载的JDK所在位置

例如我的：sudo tar -xzvf /home/wj/jdk-8u201-linux-x64.tar.gz

现在开始配置环境变量

sudo vim /etc/profile

在/etc/profile最下面添加（解释：JAVA_HOME是指文件存放的目录，可以根据自己目录进行修改；CLASSPATH是指javac环境变量；PATH是指java环境变量）

export JAVA_HOME=/usr/local/java/jdk1.8.0_202
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

配置如图片所示：

保存退出之后，进行更新环境变量，至此java安装完成，可以通过查看JDK版本验证

source /etc/profile
java -version

2、解压hadoop，配置hadoop环境变量

配置环境变量大同小异，与前面配置java环境类似，将文件解压到相应目录，修改/etc/profile文件，然后更新环境变量，输入命令验证

首先去hadoop官网下载程序包,选择相应版本的合适的链接地址（不同的镜像地址，下载速度可能有很大不同，尽量选一个快的），这里我下载的是hadoop2.9版本

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

接着去/usr/local/目录下创建hadoop目录，然后进入/usr/local/hadoop目录下将下载好的hadoop文件解压在该文件夹下

sudo mkdir /usr/local/hadoop
cd /usr/local/hadoop
sudo tar -xzvf 上一步中下载的hadoop所在位置
例如我的：sudo tar -xzvf /home/wj/hadoop-2.9.2.tar.gz

开始配置环境变量,并在/etc/profile文件下面添加HADOOPO_HOME，并修改PATH

vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.9.2
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置如图片所示（接第一部分配置java环境变量）：

保存退出之后，进行更新环境变量，至此hadoop环境变量设置完成，可以通过查看hadoop版本验证

source /etc/profile
hadoop version

3、修改ssh通讯，修改为免密码登录

首先初始化ssh，会在用户主目录中生成.ssh文件夹，然后生成公私密钥对,把id_rsa.pub中的文件内容存入到authorized_keys中

ssh localhost        #输入yes
cd ~/.ssh/
ssh-keygen -t rsa    #输入部分全部按回车键
cat id_rsa.pub > authorized_keys

在centos7中需要继续修改/etc/ssh/sshd_config配置文件

sudo vim /etc/ssh/sshd_config 

找到RSAAuthentication yes  与  PubkeyAuthentication yes，把注释去掉，如果没有这些字段就手动添加，将StrictModes yes的注释去掉，并将yes改为no，最终这三处改为下图所示部分：

重启ssh服务,并登录ssh localhost验证是否已经可以免密码登录

service sshd restart  #重启sshd服务
ssh localhost         #注意时候需要输入密码
exit                  #退出ssh localhost的登录

4、修改hadoop配置文件

主要修改core-site.xml 、 hdfs-site.xml 与hadoop-env.sh文件 

修改hadoop安装目录下./etc/hadoop/core-site.xml文件， 将以下内容添加进文件中

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改hadoop安装目录下./etc/hadoop/hdfs-site.xml文件，将以下内容添加进文件中

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

修改hadoop安装目录下./etc/hadoop/hadoop-env.sh文件，将export JAVA_HOME=${JAVA_HOME}中的参数值设置为JAVA_HOME的真实文件路径（否则可能在格式化NameNode的时候会报JAVA_HOME无法找到的错误导致格式化失败）

echo $JAVA_HOME    #通过该命令可以查看JAVA_HOME的值，即地址路径

5、启动hadoop，访问Namenode管理页面

普通用户因为没有修改/usr/local/hadoop文件夹下文件的权限，所以我们切换至root权限对该目录权限进行修改；修改完成后执行NameNode的格式化操作，格式化成功后启动hadoop，可以使用jps命令验证，或者用浏览器打开http://localhost:50070 访问NameNode管理页面进行验证

sudo -R +w /usr/local/hadoop
hdfs namenode -format
start-dfs.sh
jps    #通过查看启动的java进程验证hadoop是否成功启动

查看NameNode管理页面

6、运行WordCount样例查看效果

使用hadoop fs -mkdir /input 在hadoop虚拟根目录下创建input文件夹，然后找一个任意文本文件(这里使用/etc/hosts文件)上传至该input文件夹内，运行wordcount程序，查看输出output文件夹下的结果

hadoop fs -mkdir /input    #在hadoop数据域内创建input文件夹
hadoop fs -put /etc/hosts /input    #将hosts作为待统计的文本文件上传至input文件夹下
hadoop fs -ls /    #查看文件信息
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /input /output    #运行wordcount示例
hadoop fs -ls /    #运行此命令这时会发现多出了一个output文件夹
hadoop fs -ls /output    #查看output文件夹下内容，会发现有_SUCCESS与part-r-00000这两个文件
hadoop fs -cat /output/part-r-00000    #输出的即为统计出来的hosts文件下的字符统计

 

统计出来的结果