安装hadoop
对于任何技术的学习,环境的搭建始终是第一步。为了能更好的掌握hadoop,首先写安装hadoop。我选择的机器是ubuntu。
linux是hadoop唯一支持的生产平台,所以为了长远的考虑,我选择linux。考虑到某些原因,我将linux装在了虚拟机里。
一:安装虚拟机
因为安装虚拟机比较简单,在这里我就不再赘述。
二:安装linux
同样在虚拟机中安装ubuntu比较简单,因此略去安装步骤。
三:安装hadoop
1:安装java JDK
a:在线安装
sudo apt-get install sun-java6-jdk
对于ubuntu系统JDK通常会安装在/usr/lib/jvm/你的jdk
安装完以后,可用以下命令检查JDK是否已正确安装:
java-version
b:手动安装:
到oracle官网上下载相应版本的JDK,并按照安装文档进行安装。
2:创建hadoop用户组
sudo addgroup hadoop
添加用户
sudo adduser --ingroup hadoop hadoop(hadoop是你的用户名)
这样就将hadoop用户添加到了hadoop用户组内了。
3:配置SSH(以hadoop用户登陆,或切换到hadoop用户 su - hadoop)
a:sudo apt-get install openssh
(如果不成功,可先更新一下源 sudo apt-get update)
b:创建rsa的ssh-key
c:使ssh可以访问你本地的机器。
d:测试是否成功安装,用hadoop用户
ssh localhost
4:安装hadoop
a:下载hadoop
b:一般解压到/usr/local/hadoop
1:cd /usr/local
2:sudo tar xzf hadoop-1.0.3.tar.gz
3:sudo mv hadoop-1.0.3 hadoop
4:sudo chown -R hadoop:hadoop hadoop
5:更新$HOME/.bashrc
将下面内容加载到.bashrc文件末尾。
6:配置hadoop
a:配置JAVA_HOME
进入hadoop-env.sh(路径在/usr/local/hadoop/conf下),修改JAVA_HOME的路径。
b:配置core-site.xml
c:配置mapred-site.xml
d:配置hdfs-site.xml