前言
想要先学习得先搭环境,由于我上个月在公司搭环境的惨痛经历,差点对搭环境留下心理阴影,不过这次竟然出奇的顺利,装完之后自己都感叹了一番。视频里老师使用的是Ubuntu,而我使用的是CentOS,两者大同小异啦,只是有些命令不太一样。(本来我想用Ubuntu的,无奈怎么也不能把主机的文件拷贝到虚拟机里面,折腾了半天还是换成CentOS使用共享文件夹啦)
正题
我们今天要安装的是单机版的Hadoop,所以我的准备是一个虚拟机(linux)。
1.安装ssh(CentOS一般是安装好的,用下面的命令做个检查就好)
rpm -qa | grep ssh
如果是Ubuntu则使用sudo apt-get install ssh
2.安装rsync(同1)
rpm -qa|grep rsync
如果是Ubuntu则使用sudo apt-get install rsync
3.配置ssh免密码登录
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
验证是否成功
ssh localhost
jdk下载http://pan.baidu.com/s/1CaAwR
更改jdk权限 chmod 777 jdk-1_5_0_14-linux-i586-rpm.bin
运行安装jdk ./jdk-1_5_0_14-linux-i586-rpm.bin
设置环境变量 vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.6.0_45
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
我使用的是hadoop-1.0.3-bin.tar
安装Hadoop tar zxvf hadoop-1.0.3-bin.tar
5.修改Hadoop配置文件,制定JDK安装路径(先找到Java_home路径然后在路径下的conf文件夹下)
vi conf/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.6.0_45
6.修改Hadoop核心配置文件core-site.xml,配置HDFS的地址和端口号(hadoop-1.0.3/conf默认是空的文件)
vi conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
7.修改Hadoop中hdfs的配置,修改replication
vi conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
8.修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口
vi conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
9.格式化Hadoop的文件系统HDFS
bin/hadoop namenode -format
10.启动Hadoop
bin/start-all.sh
最后,验证Hadoop是否安装成功,打开浏览器,分别输入以下网址:
http://localhost:50030 (MapReduce的Web页面)
http://localhost:50070 (HDFS的web页面)
如果都能查看,说明安装成功