第一步:安装VMware.
VMware Workstation 8 下载的话自己到网上download吧!
可用的序列号:
MV4YN-0L38Q-2ZK60-XUA7K-AAZ18
0V6UY-4Z29L-8ZNQ1-R80QK-ACWL6
HU4R3-FEKDP-GZDQ1-Z90Q4-0CQH8
4A25F-4010Q-5ZQJ9-21CNH-AATJH
第二步:安装Redhat.
我是用的公司的DVD1(RedHat Enterprise Linux server 5.5,64位)安装的,可以自己从网上download,按照提示一步一步安装就可以了。
(此处做了一个设置,可以方便的将自己本机上的东西拷贝到虚拟机上,既实现本机和虚拟机之间的通信:
在自己电脑上面建一个文件夹,比如redhat,然后右击选共享-特定用户,选择你登陆自己电脑用的用户,点击共享-完成,到虚拟机中从菜单中选择Places-Conect to Server,Service type选择Windows share,Server填写自己本机上网络VMware Network Adapter的IP,点connect,如何此处要求输入用户名和密码,则为自己本机登陆的用户名和密码,然后就可以看到自己共享的文件夹了,或者安装FileZilla客户端也可以)
第三步:安装jdk.
1.
从http://www.oracle.com/technetwork/java/javase/downloads/jdk-7u3-download-1501626.html下载相关的jdk,此处为:jdk-7u3-linux-x64.rpm,在redhat中创建目录例如 /home/jing/java,然后将jdk-7u3-linux-x64.rpm拷贝到此目录,更改执行权限,然后执行
rpm –ivh jdk-7u3-linux-x64.rpm (此处用root执行的,用用户jing当时报了错),执行成功后,在/usr下会增加一个名为java的目录,这个是安装好的jdk的目录。
2.
配置jdk环境变量.
执行vi /etc/profile,找到export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE INPUTRC,然后将其替换为
JAVA_HOME='/usr/java/jdk1.7.0_03'
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH JAVA_HOME CLASSPATH
保存退出。
重启redhat或者执行source /etc/profile 使配置文件立即生效。(执行source只是对当前窗口有效)
3.
输入java –version,若出现java version “1.7.0_03”,表示安装成功。
第四步:安装hadoop.
从http://hadoop.apache.org/上下载hadoop安装文件,此处我用的hadoop-0.21.0.tar.zip,在redhat中创建目录例如 /home/jing/hadoop,然后将hadoop-0.21.0.tar.zip拷贝到此目录,运行命令unzip hadoop-0.21.0.tar.zip , gzip -d hadoop-0.21.0.tar.gz , tar xvf hadoop-0.21.0.tar 将此文件解压。
进入目录/home/jing/hadoop/hadoop-0.21.0/conf做相关配置:
hadoop-env.sh
将其中#export JAVA_HOME=xxxxx修改为export JAVA_HOME=/home/jing/java/jdk1.6.0_27,由于这里的JAVA_HOME不是用的默认配置,故此行的注释符号#要去掉。
conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
第五步:部署ssh key无密码登陆.
(此处纠结了很久,用rsa是可用的,但是用dsa老是有问题,最后揪出来竟然是权限问题,哎~几度悲桑)
执行命令ssh-keygen –t dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 755 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
若用rsa则为
ssh-keygen –t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
利用ssh localhost 验证是否部署成功。
(此时可以根据hadoop官网上的方法运行第一个例子了,此文档最后一部分讲述了如何执行第一个例子wordcount)
第六步:在Eclipse下运行hadoop。
分两大步:
第一步:在Linux下安装eclipse
1.首先下载linux下的Eclipse安装包。(尽量选择3.3以上的版本)
2.将下载的Eclipse安装包拷贝到虚拟机上,然后用tar –zxvf XXXX.tar.gz命令将压缩包解压。(我是拷贝到/home/jing目录,然后直接进行解压)
3.解压后会出现eclipse文件夹。此处会有/home/jing/eclipse目录出现。
4.接下来,为eclipse创建一个图形界面快速启动项(类似于windows下的桌面快捷方式),右击图形界面—>选择“新建启动器(New Launcher)”—>名称(Name)输入Eclipse—>命令(Command)选择Eclipse解压目录/home/jing/eclipse/eclipse—>图标(Icon)可以选择Eclipse的图标—>点击确定完成,然后你就可以双击图形界面中的快速启动来启动你的eclipse了,当然也可以在shell下执行eclipse根目录下的执行文件来启动eclipse!eclipse启动后还需要一些必要的配置,这里就不讲了。
第二步:安装hadoop eclipse plugin插件
我用的hadoop是0.21.0,是没有eclipse-hadoop的plugin的,看网上有人介绍了相应的方法如何创建于自己版本想对应的plugin的方法,具体方法自己上网去搜。
我安装时用的plugin是从别人那拷贝过来的:hadoop-0.21.0-eclipse-plugin-3.6.rar,其实解压后只是一个jar文件:hadoop-0.21.0-eclipse-plugin-3.6.jar。
1.将解压后的jar文件拷贝到/home/jing/eclipse/plugins下,并且更改其权限(chmod 777 hadoop-0.21.0-eclipse-plugin-3.6.jar)。
2.启动eclipse。(如果之前eclipse是开着的,此处就重新启动)
3.点击Windows—>Preference—>Hadoop Map/Reduce,配置Hadoop Install Directory,此处为/home/jing/hadoop/hadoop-0.21.0,。
4.点击Windows—>Open Perspective—>Other,选择蓝大象Map/Reduce,点击OK。
5.点击Windows—>Show View—>Other,选择MapReduce Tool—>Map/Reduce Location。
6.在下方窗口中出现的黄大象Map/Reduce Location空白处,右击选择New Map/Reduce Location。
7.在弹出来的对话框里,根据core-site.xml和mapred-site.xml里的端口,进行填写,其中Location name任意。
8.在左侧窗口中的Project Explorer里,点击DFS Location,就会出现HDFS的目录级。
(此处参考网址:http://hi.baidu.com/lingsuch/blog/item/c374fdecda19e82127979198.html)
(可能会出现在eclipse中刷不出DFS的目录的问题,最好在core-site.xml,mapred-site.xml中将localhost改为IP(ifconfig -a查到的IP)同时将slaves和master中的主机名也改为IP,并且要保证你的hadoop的守护进程是起来的)