centos 安装hadoop 2.0.3

最近想看一下hadoop ，万事开头难所以先从环境搭建入手但是网上的帖子都是针对hadoop 0.x版本的，对于我这样的小白起了一些误导作用折腾了半天终于看到小象，遂作此记录。

准备环境：

linux 系统（本次使用centos 6.0）

Java开发环境（采用jdk6）

openssh

hadoop 2.0.3

大家可以从官方下载，我提供网盘下载jdk、hadoop：http://pan.baidu.com/s/1ACIjp

我的所有操作均在vbox虚拟机中为了避免内外环境切换，有用到了xshell远程工具。（不过非必须软件）

1）安装openssh

openssh 在装系统时已经装上啦。（这样才能用xshell远程连接到linux）

如果没有安装可以联机安装：#：yum install ssh

查看是否安装ssh或安装是否成功

2）安装jdk

操作如下：

切换系统默认jdk（系统默认jdk是openjdk），此处显示可能不同但只要选最大的数字就行也就是我们刚配置的路径。

配置系统变量:#:vim  /etc/profile

重启配置项：#:source /etc/profile

验证安装是否成功

3）安装hadoop

首先配置ssh为免密码登录

测试连接

解压hadoop到/usr/目录下

做软连接

修改配置文件

在开始添加如下语句，因为hadoop是基于java语言的所以需要将JAVA_HOME变量配置如下，这也是为什么要先装jdk的原因。

修改core-site.xml

修改如下，配置HDFS（分布式文件系统）的地址及端口号

修改hdfs-site.xml

因为hadoop有三种运行方式：单机模式、伪分布式、完全分布式。在此配置为1即单机模式

修改mapred-site.xml

此文件为MapReduce的配置文件，用于配置JobTracker的地址及端口

格式化文件系统HDFS

启动所有服务（也可用sbin/start-x.sh来单独启动某个单独服务）

查看服务是否都启动啦

然后在浏览器中敲入网址：localhost：8088浏览

但是我的虚拟机没有安装xwindow所以只能在本地远程看但是由于有防火墙限制所以没办法看到，在此我只是演示所以直接暂时关闭防火墙

然后在本地敲入远程网址在本地就可以查看啦

 

 

以上都正常后则说明环境搭建完成。

 

 

 

转载于:https://www.cnblogs.com/shuchun/p/3400495.html