Hadoop开发环境搭建

Hadoop开发环境搭建

第1关：配置开发环境 - JavaJDK的配置

1.mkdir /app //创建一个/app文件夹，我们之后的软件都将安装在该目录下。

2.cd /opt

3.tar -zxvf jdk-8u171-linux-x64.tar.gz //解压JDK并将其移动到/app目录下。

4.mv jdk1.8.0_171/ /app

5.vim /etc/profile //配置文件

（JAVA_HOME=/app/jdk1.8.0_171

CLASSPATH=.:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH）//esc—:wq保存并退出

6.source /etc/profile //使刚刚的配置生效。

7.java -version //测试一下环境变量是否配置成功。

第2关：配置开发环境 – 

1.cd /opt

2.tar -zxvf hadoop-3.1.0.tar.gz -C /app

3.cd /app

4.mv hadoop-3.1.0/ hadoop3.1

5. ssh-keygen -t rsa -P ''//设置SSH免密登录时有必要的。

6.直接回车

7. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_key //把id_rsa.pub追加到授权的key里面去。

8. chmod 600 ~/.ssh/authorized_keys //修改权限

9. vim /etc/ssh/sshd_config //接着需要启用RSA认证，启动公钥私钥配对认证方式，如果提示权限不足在命令前加上sudo； 修改ssh配置：

RSAAuthentication yes # 启用 RSA 认证

PubkeyAuthentication yes # 启用公钥私钥配对认证方式

AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径

10. 我们要开始修改Hadoop的配置文件了，总共需要修改6个文件。分别是：

• hadoop-env.sh；
• yarn-env.sh ；
• core-site.xml；
• hdfs-site.xml；
• mapred-site.xml；
• yarn-site.xml。

11. echo $JAVA_HOME // 两个env.sh文件主要是配置JDK的位置，如果忘记了JDK的位置了，输入 echo $JAVA_HOME就可以看到哦。/app/jdk1.8.0_171

12.cd /app/hadoop3.1/etc/hadoop/

13.vim hadoop-env.sh

# The java implementation to use. 

#export JAVA_HOME=${JAVA_HOME} 

export JAVA_HOME=/app/jdk1.8.0_171

14.vim yarn-env.sh

export JAVA_HOME=/app/jdk1.8.0_171

15.vim core-site.xml

<configuration>

<property> 

    <name>fs.default.name</name>

            <value>hdfs://localhost:9000</value>

    <description>HDFS的URI，文件系统://namenode标识:端口号</description>

        </property> 

     <property>

       <name>hadoop.tmp.dir</name>

        <value>/usr/hadoop/tmp</value>

       <description>namenode上本地的hadoop临时文件夹</description> 

      </property>

    </configuration>

16.vim mapred-site.xml

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

17. vim hdfs-site.xml

<configuration> 

<property> 

    <name>dfs.name.dir</name> 

    <value>/usr/hadoop/hdfs/name</value> 

    <description>namenode上存储hdfs名字空间元数据 </description>  

</property> 

<property> 

    <name>dfs.data.dir</name> 

    <value>/usr/hadoop/hdfs/data</value> 

    <description>datanode上数据块的物理存储位置</description> 

</property> 

<property> 

    <name>dfs.replication</name> 

    <value>1</value> 

</property> 

</configuration> 

18.vim yarn-site.xml

<configuration> 

<property> 

        <name>yarn.nodemanager.aux-services</name> 

        <value>mapreduce_shuffle</value> 

</property> 

<property> 

        <name>yarn.resourcemanager.webapp.address</name> 

        <value>192.168.2.10:8099</value> 

        <description>这个地址是mr管理界面的</description> 

</property> 

</configuration> 

19. mkdir -p /usr/hadoop/tmp

20.mkdir /usr/hadoop/hdfs

21.mkdir /usr/hadoop/hdfs/data

22.mkdir /usr/hadoop/hdfs/name

23. vim /etc/profile

#set Hadoop Enviroment

export HADOOP_HOME=/app/hadoop3.1

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

24. source /etc/profile

25. hadoop namenode -format

26. start-dfs.sh