虚拟机内jdk安装以及hadoop集群环境安装

虚拟机内jdk安装以及hadoop集群环境安装

一、jdk安装

（1）：将所给的jdk-8u的压缩包传进虚拟机内（可以使用FileZilla进行传输）

（2）：在linux系统下的opt目录中查看软件包是否导入成功

[root@hadoop101opt]# cd software/     //进入文件夹目录下
[root@hadoop101software]# ls		//查看自己的目录下的文件
jdk-7u79-linux-x64.gz  hadoop-2.7.2.tar.gz    

（3）：解压jdk到指定目录下

[root@hadoop101software]tar -zxf jdk-7u79-linux-x64.gz -C /opt/module/  //解压到/opt/module/目录下

（5）：配置jdk环境变量

• 先获取jdk路径

[root@hadoop101jdk1.7.0_67]# pwd  //进入到jdk的文件夹下获取jdk路径
/opt/module/jdk1.7.0_79     

• 打开/etc/profile文件

[root@hadoop101 jdk1.7.0_79]# vi /etc/profile
在profie文件末尾添加jdk路径：
##JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin

• :wq保存后退出
• 让修改后的文件生效

[root@hadoop101 jdk1.7.0_79]# source  /etc/profile

• 完成检查是否安装完（如果java –version不能用就重启）

[root@hadoop101 jdk1.7.0_79]# java -version   //测试jdk安装成功，并检查版本号
java version "1.7.0_79"
[root@hadoop101 jdk1.7.0_79]# reboot    //重启

二、hadoop的安装和环境变量的配置

（1）：将所给的Hadoop的压缩包放在虚拟机里面

（2）：解压安装文件到指定文件夹下

[root@hadoop software]# tar -zxf hadoop-2.7.2.tar.gz -C /opt/module/    //将文件夹解压到/opt/module/路径下

（3）：查看是否解压成功

[root@hadoop software]# ls /opt/module/
hadoop-2.7.2  

（4）：配置hadoop中的hadoop-env.sh

• Linux系统中获取jdk的安装路径

[root@hadoop101 jdk1.7.0_79]# echo $JAVA_HOME
/opt/module/jdk1.7.0_79

• 修改hadoop-env.sh文件中的JAVA_HOME路径

export JAVA_HOME=/opt/module/jdk1.7.0_79

（5）：将hadoop添加到环境变量

• 获取hadoop安装路径

[root@ hadoop101 hadoop-2.7.2]# pwd
/opt/module/hadoop-2.7.2

• 打开

root@ hadoop101 hadoop-2.7.2]# vi /etc/profile
在profie文件末尾添加jdk路径：（shitf+g）
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin			

• 保存退出

:wq

• 让修改后的文件生效

root@ hadoop101 hadoop-2.7.2]# source /etc/profile

• 检测hadoop是否安装完成

hadoop

三、hdfs集群的安装

（1）：修改hadoop-env.sh

export JAVA_HOME=/root/apps/jdk1.8.0_60

（2）：修改core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hdp-01:9000</value>   <!--修正为自己的主要虚拟机的IP地址-->
</property>
</configuration>

（4）：修改hdfs-site.xml

在主要的第一台虚拟机上面的hadoop目录下面创建name和data文件夹

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/hdpdata/name/</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/hdpdata/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hdp-02:50090</value>
</property>
</configuration>

（5）启动HDFS

• 初始化namenode

hadoop namenode -format

• 启动namenode进程

hadoop-daemon.sh start namenode

• 然后在windows中使用浏览器访问namenode提供的web端口50070

http://hdp-01:50070     //写在虚拟机上面配置的ip地址

• 然后，启动众datanode们（在任意地方）

hadoop-daemon.sh start datanode

 这样一个简单的有关hadoop的hdfs的一个的安装和集群的部署就算完成了，如果能访问50070这个端口的网站就算是可以完成了。

如果上面有写的不太详细的地方大家可以下载资料，资料中有详细的介绍如何安装以及jdk和hadoop的安装包。

资料包链接
提取码: uqc8