【Hadoop2.x】CentOS中jdk的安装，hadoop2.7.3环境配置

前提

• VMware虚拟机中已正确安装CentOS系统，安装过程可见CentOS 6 安装
• 下载好jdk-8u151-linux-x64.tar.gz，以及hadoop-2.7.3.tar.gz
• 远程传输文件软件，或命令行下rz传输，我用的是FlashFXP
• 远程工具用的是SecureSRT

安装准备

\quad \quad 为了在日后安装和管理软件方便，自己在Linux系统中创建两个目录，一个专门用来放压缩包，一个用来专门放解压文件，这里我在/opt目录下创建了两个文件夹software和apps。

• 以root身份创建普通用户，输入命令useradd 用户名
• 给普通用户设置密码，输入命令passwd 用户名
• 给普通用户sudo权限，输入命令visudo，进行编辑，可自行百度
• 将根目录下的/opt目录以及子目录的拥有者和所属组设置为自己的，输入命令chown -R dany:dany /opt/

• 以普通用户或root用户，在/opt目录下创建两个文件夹software和apps，切换到根目录下/opt目录，输入mkdir software apps

如果以普通用户执行没用，那么可以在命令前加上sudo，即我们配置的sudo权限来执行（后面步骤也同样）

• 将下载好的jdk-8u151-linux-x64.tar.gz，以及hadoop-2.7.3.tar.gz上传服务器中的software目录
• 通过FlashFXP上传hadoop-2.7.3.tar.gz
  

如果使用普通用户上传是出现以上问题，原因就是/opt目录的所有者不是普通用户，也就是上面的步骤没做好

• 通过命令rz上传jdk-8u151-linux-x64.tar.gz
  
  

jdk安装

• 1.解压jdk-8u151-linux-x64.tar.gz到apps目录下

tar -zxf jdk-8u151-linux-x64.tar.gz -C /opt/apps
# 加上v表示把解压过程显示
tar -zxvf jdk-8u151-linux-x64.tar.gz -C /opt/apps

• 2.配置环境
• jdk路径为：/opt/apps/jdk1.8.0_151
• sudo vi /etc/profile在文件末尾加
• 添加修改保存完后，source /etc/profile
  

注：vi编辑器的使用可自行百度

hadoop2.7.3安装

• 1.解压hadoop-2.7.3.tar.gz到/opt/apps目录下

tar -zxf hadoop-2.7.3.tar.gz -C /opt/apps

• 2.删除share目录下的doc目录
  

• 3.配置环境（使用NotePad++的插件NppFTP，也可以vi编辑修改，但不怎么方便）
  

• 需要配置的文件

【hadoop-env.sh配置】
# The java implementation to use.
export JAVA_HOME=/opt/modules/jdk1.8.0_151

【mapred-env.sh配置】
export JAVA_HOME=/opt/modules/jdk1.8.0_151

【yarn-env.sh配置】
# some Java parameters
export JAVA_HOME=/opt/modules/jdk1.8.0_151

【slaves配置】
# 主机名
dong-01.cym.com

【core-site.xml配置】
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.21.51:8020</value>
        <!-- 此处IP也可以用主机名，但本机hosts文件需要做好映射 -->
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/modules/apache/hadoop-2.7.3/data/tmp</value>
    </property>	
</configuration>

【hdfs-site.xml配置】
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

格式化命令：bin/hdfs namenode -format

• 需要配置三个env文件：hadoop-env.sh、mapred-env.sh、yarn-env.sh
  

• 配置core-site.xml文件
  

• 配置hdfs-site.xml文件
  

• 修改slaves文件，改为主机名
  

• 格式化
  
  

• 4.启动命令

开启：
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode

上传：
bin/hdfs dfs -put test.txt /
test.txt   需要上传的文件路径以及文件（这里使用的是相对路径，也可以使用绝对路径）
/ 表示上传到根目录

• 启动
  

• 本地web访问界面 http://主机名:50070

• 本地需要做好hosts映射
  

• hdfs文件系统
  

• 5.上传文件

• hdfs命令
  

• bin/hdfs dfs
  

• 上传文件，先vi编辑创建一个测试文件

• vi test.txt

1 2 3 4 5 6
2 3 4 5
3 4 5
5 6
8

• bin/hdfs dfs -put test.txt /

• 查看web，hdfs文件系统
  

之前为空，现在文件已经上传了

• 命令查看

• bin/hdfs dfs -ls /
  

• 6.Secondarynamenode配置

• 修改hdfs-site.xml文件
  

• 关闭之前开启的，重新启动

• killall java

• sbin/hadoop-daemon.sh start secondarynamenode
  

• 查看
  

• tree查看，需要先安装tree命令