关于在windows下面虚拟机创建linux的hadoop配置

1、 时刻关注命令行的当前目录和当前用户

 

如图，hadoop代表当前的用户为hadoop，master代表当前主机名，~代表当前所在的目录。查看当前目录的完成路径命令为pwd

2、 若在linux中执行命令时遇到permission denied，说明当前用户权限不够，可能需要切换至root用户执行（su命令），建议执行完后立刻退出root登录（输入命令exit）

 

Linux:

1、 在~目录下新建目录DevelopEnv，进入DevelopEnv目录

2、 配置jdk

下载，wget --no-check-certificate --no-cookies –header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u121-b13/e9e7ea248e2c4826b92b3f075a80e441/jdk-8u121-linux-x64.tar.gz

解压，tar –zxvf jdk-8u121-linux-x64.tar.gz

进入解压得到的jdk目录（cd jdk1.8.0_121），通过pwd得到当前路径

通过vi编辑~目录下.bash_profile文件，设置JAVA_HOME为刚才的jdk的完整路径，在path变量的最后插入内容“:$JAVA_HOME/bin”（注意不要丢了第一个冒号），保存并退出。

输入命令source .bash_profile使环境变量配置生效。

输入命令java或javac，若出现跟JAVA相关的内容则表示配置成功。

3、 若主机名不为master，通过hostnamectl set-hostname master修改主机名为master

4、 关闭防火墙systemctl stop firewalld.service

Hadoop:

1、 在DevelopEnv目录下载Hadoop

wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

2、 解压tar –zxvf Hadoop-2.8.0.tar.gz

3、 配置Hadoop环境变量，方法同jdk，（新增HADOOP_HOME和添加path），配置完成后输入hadoop命令，若出现hadoop相关信息则表示配置成功

4、 在DevelopEnv目录下新建一个目录Data，并在Data中新建一个目录tmp（可以通过mkdir -p Data/tmp一次性操作）

5、 进入hadoop-2.8.0目录下etc/hadoop目录

6、 编辑Hadoop-env.sh，在文档最后添加

export JAVA_HOME=（同Linux中JAVA_HOME对应的路径）

7、 编辑core-site.xml文件

在<configuration></configuration>中间添加配置：

<property>

                <name>fs.defaultFS</name>

                <value>hdfs://master:9000</value>

        </property>

        <property>

                <name>hadoop.tmp.dir</name>

                <value>第四步中新建的tmp目录的路径</value>

        </property>

8、 编辑hdfs-site.xml文件

在<configuration></configuration>中间添加配置：

<property>

                <name>dfs.replication</name>

                <value>1</value>

        </property>

        <property>

                <name>dfs.http.address</name>

                <value>master:50070</value>

        </property>

        <property>

                <name>dfs.secondary.http.address</name>

                <value>master:50090</value>

        </property>

9、 输入命令hadoop namenode –format对namenode进行格式化

 

 

 

服务启动：

1、 运用vmware中克隆的功能克隆一份linux系统（若操作中有问题也可通过今天安装的过程重新安装一个全新的系统，但是需要将上述Linux和Hadoop配置的过程完整重复一遍）

2、 在新的系统中通过命令hostname set-hostname slave1修改主机名为slave1

3、 通过命令ifconfig分别查看两个系统的ip地址 

4、 分别编辑master和slave1中/etc/hosts文件（需要以root用户），添加以下内容

 192.168.0.12 master master

192.168.0.13 slave1 slave1

图中的ip地址改为刚刚第三步中查到的ip地址

5、 编辑master节点中hadoop主目录下etc/hadoop目录中的slave文件

新增一行，内容为slave1

6、 分别在master和slave1中的~目录下，执行命令ssh-keygen –t rsa生成密钥

再在master中执行ssh-copy-id slave1

再在slave1中执行ssh-copy-id master

目的是分别生成两个节点的ssh登录密钥，并共享给对方，使得双方都可以通过ssh免密登录对方。

7、 在master节点中，切换目录至hadoop-2.8.0，输入命令sbin/start-dfs.sh即可启动HDFS服务。