VMWare Workstation8.0上安装和配置Hadoop群集环境

在VMWareWorkstation8.0上安装和配置Hadoop群集环境

VMWare Workstation：VMware® Workstation8.0.0build-471780

JDK：1.6.0_25

Hadoop：hadoop-0.21.0

Linux：CentOS Release 5.5

Linux客户端：SSHSecureShellClient-3.2.9

启动后直接按回车键，即可进入图形安装界面；

直接选择下一步，并且选择英文字符，避免以后出现字符错乱问题，所以现在我们所有字符都已英文为主；

这里我们选择默认分区，不在自定义，为了节省更多的时间！！

然后就是选择时区，和设置root密码的截图，这里省略，不做截图，我选择上海的时区，密码：redhat;

这里可以选择server，和server-gui，也可以省略，全部不选择，来节约更多时间来按照其他节点。然后直接下一步

重启下系统，

最后进行完成工作；finish工作。

以此类推，按照类似步骤安装完成，3个节点的虚拟机环境，Redhat01,02,03这3个节点、

配置虚拟机的IP地址

用root账号登陆虚拟系统，输入以下命令：

配置如下模式，请知晓

修改主机名称：

笔者测试环境的虚拟机的IP地址和主机名的对应情况如下：

RedHat01  192.168.0.231  redhat01

RedHat02  192.168.0.232  redhat02

RedHat03  192.168.0.233  redhat03

并保持他们之间的网络相关可以PING通。保证网络没有问题即可

安装JDK

 

①安装JDK之前，先下载用于登录Linux的客户端SSH Secure Shell Client。下载地址：http://www.onlinedown.net/softdown/20089_2.htm（如果地址无效，可在网上搜索SSH Secure）。

安装完成之后，将会有两个客户端，一个远程登录客户端，另一个FTP客户端

④使用①中安装的远程登录工具，分别登录每台虚拟机，进行JDK的安装。

Ø  执行下面的指令，编辑/etc/profile文件，进行环境变量的设置

Ø  在相应的位置添加下图中蓝色框的下面红色框所圈出的内容

Ø  重新开启远程登录客户端，重新登录【必须重新登录远程登录客户端，环境变量才会起作用】

Ø  输入javac指令验证JDK安装是否成功

如出现上述内容则说明JDK安装成功，并且环境变量配置成功

 

 

建立虚拟机之间SSH无密码登录

Ø  按照如下顺序，在192.168.0.231虚拟机中执行框出的指令

测试192.168.0.231无需密码登陆直接直接登陆redhat02,03机器；

安装hadoop

①     在官方网站上下载hadoop-0.21.0版本

②      打开①中安装的FTP客户端SSHSecure File Transfer Client，然后将下载的hadoop上传到虚拟机的 /usr目录下。（注：每台虚拟机都要hadoop的安装）

3    配置HADOOP环境变量【和配置JDK环境变量类似】

4.     配置Hadoop配置文件

Ø  更改hadoop安装路径/conf/hadoop-env.sh(三个虚拟机都配)

Ø  更改hadoop安装路径/conf/masters和slaves两个文件。只配置192.168.0.231虚拟机

配置hadoop安装路径/conf/core-site.xml、hdfs-site.xml和mapred-site.xml三个文件。三个虚拟机都需要配置，并且配置的内容相同

至此，Hadoop框架在VMWareWorkstation虚拟机中安装任务全部结束。

 

进行验证安装是否成功

Ø  首先在192.168.0.231机器上执行如下指令，格式化文件系统

hdfsnamenode –format

执行结果如下：

Ø  然后在192.168.0.231机器上执行如下指令，启动HDFS文件系统

start-dfs.sh    （停止HDFS文件系统：stop-dfs.sh）

执行结果如下：

Ø  执行如下指令，列出HDFS文件系统中存在的目录情况

hadoopfs –ls

执行结果如下：

Ø  关于hadoopfs指令的详细参数说明，请参照相关文档。

Ø  执行如下指令，启动MAPREDUCE框架

start-mapred.sh    （停止MAPREDUCE框架：stop-mapred.sh）

执行结果如下：

Ø  Web浏览器监视HDFS文件系统状态和MAPREDUCE执行任务的情况。

HDFS文件系统

浏览器中输入：http://192.168.0.231:50070/

浏览器中输入：http://192.168.0.231:50030

 

Ø  运行框架自带的wordcount示例

①    在192.168.0.231虚拟机中建立两个输入文件input1和input2

①    HDFS中建立一个目录input

①    拷贝input1和input2两个文件到HDFS的input目录中

①    运行wordcount程序

①    查看运行结果

如果至此全部成功，那么恭喜整个Hadoop框架成功搭建与VMWareWorkstation软件中，下面的任务就是编写自己的程序，然后运行于该框架。尽情享受Hadoop的乐趣吧。

 

 

在安装过程中遇到了一些问题，就是在安装三个节点的时候，JDK大家在按照设置java_home的时候一定要注意前面的那个#,要去掉，呵呵，不然到时无法启动HDFS，还有就是50030这个端口无法访问！估计我的map-redouce没有做好，下来自己再看看！