1.创建新用户
1)创建用户名是hadoop
sudo useradd -m hadoop -s /bin/bash2)修改密码,输入两次
sudo passwd hadoop3)添加管理员权限
方法1--
sudo adduser hadoop sudo
方法2--
sudo vi /etc/sudoers
# User privilege specification
root ALL=(ALL:ALL) ALL
hadoop ALL=(ALL:ALL) ALL
2.设置SSH
1)安装sshsudo apt-get update
sudo apt-get install openssh-server
2)登录本机
ssh localhost
3)设置无密码登录
exit(如果没有退出ssh可以多打几次exit或者打logout)
cd ~/.ssh/
ssh-keygen -t rsa
cat id_rsa.pub >> authorized_keys
4)再次登陆时就不需要输入密码了
3.安装jdk和配置环境
1)安装jdksudo apt-get install openjdk-7-jre openjdk-7-jdk
2)安装完成后进行检查
java -version
3)配置JAVA_HOME环境变量配置
vi ~/.bashrc
如果不能保存就在前面加上sudo
在第一行加入
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
查看java目录命令:
dpkg -L openjdk-7-jdk
4)让命令生效
source ~/.bashrc
echo $JAVA_HOME
4.hadoop伪分布式和yarn的配置
1)解压下载好的hadooptar -zxvf hadoop-2.2.0.tar.gz
2)配置hadoop
cd hadoop-2.2.0
cd etc
cd hadoop
1--配置core-site.xml
vi core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/dfs/tmp</value>
</property>
2--配置hdfs-site.xml
vi hdfs-site.xml
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
在配置hive的时候可能会遇到验证问题,所以在这里直接配置验证未false
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
3)配置JAVA_HOME
vi ./etc/hadoop/hadoop-env.sh
# The java implementation to use.
# export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
4)配置Hadoop环境变量
vi ~/.bashrc
export HADOOP_HOME=/home/hadoop/hadoop-2.2.0
在hadoop-2.2.0下
pwd
直接输出位置复制即可
5)修改链接文件
cd ~
rm -rf dfs
mkdir dfs
cd dfs
mkdir logs
mkdir tmp
6)配置yarn文件
cd hadoop-2.2.0/etc/hadoop/
配置yarn-site.xml
vi yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.resoucemanager.webapp.address</name>
<value>localhost:8088</value>
</property>
配置yarn-env.sh
vi yarn-env.sh
JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
vi hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
7)namenode格式化
cd ../..
在hadoop-2.2.0目录下
bin/hdfs namenode -format
成功:Exitting with status 0
失败:Exitting with status 1
如果失败可以sudo bin/hdfs namenode -format
8)启动hadoop
sbin/start-all.sh
(分部启动1:hdfs
sbin/start-dfs.sh
分部启动2:yarn
sbin/start-yarn.sh)
9)关闭hadoop
将start改为stop即可