Hadoop开发环境搭建

第1关：配置开发环境 - JavaJDK的配置

错误解决：
cd /data/workspace/myshixun/src/step1/
vim test.sh
i
//删除pwd
Esc+:wq

mkdir /app
cd /opt
ll
tar -zxvf jdk-8u171-linux-x64.tar.gz

mv jdk1.8.0_171/ /app
vim /etc/profile

 按 i 进入编辑模式后将下列代码粘贴进去

JAVA_HOME=/app/jdk1.8.0_171
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH

按Esc后输入 :wq 退出

source /etc/profile
java -version

第2关：配置开发环境 - Hadoop安装与伪分布式集群搭建

第二关和第一关一起完成，如果不一起，重新做一下第一关

下载Hadoop

cd /opt
ll
tar -zxvf hadoop-3.1.0.tar.gz -C /app

cd /app
ll
mv hadoop-3.1.0 hadoop3.1
ll

 配置Hadoop环境

设置SSH免密登录

ssh-keygen -t rsa -P ''

回车+回车

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

 接着需要启用RSA认证，启动公钥私钥配对认证方式：
vim /etc/ssh/sshd_config 如果提示权限不足在命令前加上sudo； 修改ssh配置：

vim /etc/ssh/sshd_config

按i 进入编辑模式后 

找到
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
#AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径
删去 第三行第一个 #

始修改Hadoop的配置文件

• hadoop-env.sh；
• yarn-env.sh ；
• core-site.xml；
• hdfs-site.xml；
• mapred-site.xml；
• yarn-site.xml。

cd /app/hadoop3.1/etc/hadoop/

 hadoop-env.sh 配置

vim hadoop-env.sh

按i 进入编辑模式后

# The java implementation to use.  
#export JAVA_HOME=${JAVA_HOME}  
export JAVA_HOME=/app/jdk1.8.0_171

按Esc后输入 :wq 退出

yarn-env.sh 配置

vim yarn-env.sh

按i 进入编辑模式后

export JAVA_HOME=/app/jdk1.8.0_171

按Esc后输入 :wq 退出

core-site.xml配置

vim core-site.xml

按i 进入编辑模式后

<configuration>  
 <property>  
    <name>fs.default.name</name>  
    <value>hdfs://localhost:9000</value>  
    <description>HDFS的URI，文件系统://namenode标识:端口号</description>  
</property>  
  
<property>  
    <name>hadoop.tmp.dir</name>  
    <value>/usr/hadoop/tmp</value>  
    <description>namenode上本地的hadoop临时文件夹</description>  
</property>  
</configuration>  

按Esc后输入 :wq 退出

hdfs-site.xml文件配置

vim hdfs-site.xml

按i 进入编辑模式后

<configuration>  
<property>  
    <name>dfs.name.dir</name>  
    <value>/usr/hadoop/hdfs/name</value>  
    <description>namenode上存储hdfs名字空间元数据 </description>   
</property>  
  
<property>  
    <name>dfs.data.dir</name>  
    <value>/usr/hadoop/hdfs/data</value>  
    <description>datanode上数据块的物理存储位置</description>  
</property>  
  
<property>  
    <name>dfs.replication</name>  
    <value>1</value>  
</property>  
</configuration>  

按Esc后输入 :wq 退出

mapred-site.xml文件配置

vim mapred-site.xml

按i 进入编辑模式后

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

按Esc后输入 :wq 退出

yarn-site.xml配置

vim yarn-site.xml

按i 进入编辑模式后

<configuration>  
<property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
</property>  
<property>  
        <name>yarn.resourcemanager.webapp.address</name>  
        <value>192.168.2.10:8099</value>  
        <description>这个地址是mr管理界面的</description>  
</property>  
</configuration>  

按Esc后输入 :wq 退出

创建文件夹

我们在配置文件中配置了一些文件夹路径，现在我们来创建他们，在/usr/hadoop/目录下使用hadoop用户操作，建立tmp、hdfs/name、hdfs/data目录，执行如下命令：

mkdir -p /usr/hadoop/tmp 
mkdir /usr/hadoop/hdfs 
mkdir /usr/hadoop/hdfs/data 
mkdir /usr/hadoop/hdfs/name

将Hadoop添加到环境变量中 

vim /etc/profile

按i 进入编辑模式后

#追加
#set Hadoop Enviroment
export HADOOP_HOME=/app/hadoop3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

按Esc后输入 :wq 退出

最后使修改生效

source /etc/profile

验证 

格式化

hadoop namenode -format

出现如下界面代表成功：

在/hadoop3.1/sbin路径下： cd /app/hadoop3.1/sbin。 将start-dfs.sh，stop-dfs.sh两个文件顶部添加参数；还有，start-yarn.sh，stop-yarn.sh顶部也需添加参数。

cd /app/hadoop3.1/sbin

vim start-dfs.sh

按i 进入编辑模式后

# 追加到第一行

#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

按Esc后输入 :wq 退出

vim stop-dfs.sh

按i 进入编辑模式后

# 追加到第一行

#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

按Esc后输入 :wq 退出

vim stop-yarn.sh

按i 进入编辑模式后

# 追加到第一行

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

按Esc后输入 :wq 退出

vim start-yarn.sh

按i 进入编辑模式后

# 追加到第一行

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

按Esc后输入 :wq 退出

启动start-dfs.sh

start-dfs.sh

最后输入命令 jps 验证 

jps

,出现如下界面代表启动成功：