安装ssh
1 | apt-get install ssh |
安装rsync
1 | apt-get install rsync |
配置ssh免密码登录
1 | ssh -keygen -t dsa -P '' -f ~/. ssh /id_dsa |
2 | cat ~/. ssh /id_dsa.pub >>~/. ssh /authorized_keys |
验证是否成功
1 | ssh localhost |
新建 linux 终端,建立app目录,Java和Hadoop都将安装在此目录中。
1 | mkdir /home/app |
接下来,安装Java和Hadoop,Hadoop解压即可。
1 | cd /home/app |
2 | chmod +x jdk-6u30-linux-i586.bin |
3 | ./jdk-6u30-linux-i586.bin |
4 |
5 | tar zxf hadoop-1.0.0-bin. tar .gz |
配置JDK环境变量
1 | vi /etc/profile |
增加下面语句到最后
1 | export JAVA_HOME=/home/app/jdk1.6.0_30 |
2 | export PATH=$JAVA_HOME/bin:$PATH |
3 | export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar |
接下来开始配置Hadoop
进入Hadoop目录
1 | cd /home/app/hadoop-1.0.0 |
修改配置文件,指定JDk安装路径
1 | vi conf/hadoop- env .sh |
1 | export JAVA_HOME=/home/app/jdk1.6.0_30 |
修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号
1 | vi conf/core-site.xml |
1 | < configuration > |
2 | < property > |
3 | < name >fs.default.name</ name > |
4 | < value >hdfs://localhost:9000</ value > |
5 | </ property > |
6 | </ configuration > |
修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1
1 | vi conf/hdfs-site.xml |
1 | < configuration > |
2 | < property > |
3 | < name >dfs.replication</ name > |
4 | < value >1</ value > |
5 | </ property > |
6 | </ configuration > |
修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口
1 | vi conf/mapred-site.xml |
1 | < configuration > |
2 | < property > |
3 | < name >mapred.job.tracker</ name > |
4 | < value >localhost:9001</ value > |
5 | </ property > |
6 | </ configuration > |
接下来,启动Hadoop,在启动之前,需要格式化Hadoop的文件系统HDFS,进入Hadoop文件夹,输入下面命令
1 | bin/hadoop namenode - format |
然后启动Hadoop,输入命令
1 | bin/start-all.sh |
这个命令为所有服务全部启动。
最后,验证Hadoop是否安装成功。打开浏览器,分别输入一下网址:
http://localhost:50030 (MapReduce的Web页面)
http://localhost:50070 (HDfS的web页面)
如果都能查看,说明安装成功。