在ubuntu14.04环境下搭建伪分布式hadoop-2.2.0 64位系统

1.创建新用户

1)创建用户名是hadoop

sudo useradd -m hadoop -s /bin/bash

2)修改密码，输入两次

sudo passwd hadoop
3)添加管理员权限
方法1--
sudo adduser hadoop sudo
方法2--
sudo vi /etc/sudoers
# User privilege specification
root    ALL=(ALL:ALL) ALL
hadoop  ALL=(ALL:ALL)  ALL

2.设置SSH

1)安装ssh
sudo apt-get update
sudo apt-get install openssh-server
2)登录本机
ssh localhost
3)设置无密码登录
exit(如果没有退出ssh可以多打几次exit或者打logout)
cd ~/.ssh/
ssh-keygen -t rsa
cat id_rsa.pub >> authorized_keys
4)再次登陆时就不需要输入密码了

3.安装jdk和配置环境

1)安装jdk
sudo apt-get install openjdk-7-jre openjdk-7-jdk
2)安装完成后进行检查
java -version
3)配置JAVA_HOME环境变量配置
 vi ~/.bashrc
如果不能保存就在前面加上sudo
在第一行加入
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
查看java目录命令：
dpkg -L openjdk-7-jdk
4)让命令生效
source ~/.bashrc
echo $JAVA_HOME

4.hadoop伪分布式和yarn的配置

1)解压下载好的hadoop
tar -zxvf hadoop-2.2.0.tar.gz
2)配置hadoop
cd hadoop-2.2.0
cd etc
cd hadoop
1--配置core-site.xml
vi core-site.xml
<property>
   <name>fs.defaultFS</name>
   <value>hdfs://localhost:9000</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>file:/home/hadoop/dfs/tmp</value>
</property>
2--配置hdfs-site.xml
vi hdfs-site.xml
<property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/home/hadoop/dfs/name</value>
</property>
<property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/home/hadoop/dfs/data</value>
</property>
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>
在配置hive的时候可能会遇到验证问题，所以在这里直接配置验证未false
<property>
        <name>dfs.permissions</name>
        <value>false</value>
</property>
3)配置JAVA_HOME
vi ./etc/hadoop/hadoop-env.sh
# The java implementation to use.
# export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

4)配置Hadoop环境变量
 vi ~/.bashrc
export HADOOP_HOME=/home/hadoop/hadoop-2.2.0
在hadoop-2.2.0下
pwd
直接输出位置复制即可
5)修改链接文件
cd ~
rm -rf dfs
mkdir dfs
cd dfs
mkdir logs
mkdir tmp
6)配置yarn文件
cd hadoop-2.2.0/etc/hadoop/
配置yarn-site.xml
vi yarn-site.xml
<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>localhost</value>
</property>
<property>
    <name>yarn.resoucemanager.webapp.address</name>
    <value>localhost:8088</value>
</property>
配置yarn-env.sh
vi yarn-env.sh
 JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
vi hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
7)namenode格式化
cd ../..
在hadoop-2.2.0目录下
bin/hdfs namenode -format
成功:Exitting with status 0
失败:Exitting with status 1
如果失败可以sudo bin/hdfs namenode -format
8)启动hadoop
sbin/start-all.sh
(分部启动1:hdfs
sbin/start-dfs.sh
分部启动2:yarn
sbin/start-yarn.sh)

9)关闭hadoop

将start改为stop即可