一.系统配置
Ubuntu 12.04.3 LTS 64位
hadoop 2.2.0
jdk1.8.0_05(sunjdk)
二.创建新用户及用户组
创建一个新组叫“hadoop”,创建一个新用户也叫“hadoop”属于“hadoop”组
$ sudo addgroup hadoop
$ sudo adduser -ingroup hadoop hadoop
给hadoop用户添加权限,打开/etc/sudoers文件
$ sudo vim /etc/sudoers
给hadoop用户赋予root用户同样的权限:
在root ALL=(ALL:ALL) ALL后面添加:
hadoop ALL=(ALL:ALL) ALL
三.安装ssh
$ sudo apt-get install openssh-client openssh-server ssh
四.配置ssh服务
现在操作要在hadoop用户下完成了
$ su - hadoop
建立ssh信任,创建ssh-key,默认用rsa方式
$ ssh-keygen -t rsa -P ""
按回车后在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub
进入~/.ssh目录,将id_rsa.pub追加到authorized_keys授权文件中
$ cd ~/.ssh
$ cat id_rsa.pub >> authorized_keys
完成后就可以无密码登陆本机了
验证:
$ ssh localhost
执行退出命令:
$ exit
(我没有给rsa密钥设密码,若想设,可以用ssh-agent管理:
$ ssh-add ~/.ssh/id_rsa)
五.配置hadoop
1.打开hadoop-env.sh,修改JAVA_HOME的值:
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_05
2.打开yarn-env.sh,修改JAVA_HOME的值:
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_05
3.打开/etc/profile,添加如下:
#set java environment
JAVA_HOME=/usr/lib/jvm/jdk1.8.0_05
export HADOOP_INSTALL=/home/hadoop/hadoop
export JRE_HOME=/usr/lib/jvm/jdk1.8.0_05/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH:$HADOOP_INSTALL/bin
4.打开core-site.xml,修改为下:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000/</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop/tmp</value>
</property>
</configuration>
5.打开mapred-site.xml,修改为下:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
6.打开hdfs-site.xml,修改如下:
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/hadoop/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
7.masters和slavers里均填localhost
8.对/home/hadoop下的hadoop文件夹进行设置
$ sudo chown -R hadoop:hadoop hadoop
六.格式化并启动hadoop
$ cd hadoop
$ bin/hadoop namenode -format
$ sbin/start-all.sh
检查并测试样例
$ jps
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar randomwriter out