Debian安装hadoop[大象]-1.2.1

为什么80%的码农都做不了架构师？>>>   

Debian安装hadoop[大象]-1.2.1

作者:root@\Debian :~#
网站:http://www.52d.me

现在都说2.X不稳定，很多都用1.2.x，许多网上课程也是基于1.2.x版本，这里我也就用1.2.1来做一个学习记录，下一篇也许会是2.2.0了。

# 系统: debian 7.2.0 amd64
# 环境: 本地 VMWare Workstation 10.0 - NAT

hadoop是用运行在java虚拟机上的，所以，我们需要先安装jdk jre

安装jdk jre

<!-- lang: shell -->
apt-get install openjdk-7-jdk openjdk-7-jre

下载并解压

<!-- lang: shell -->
curl --progress http://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz | tar xz

建立用户

<!-- lang: shell -->
adduser hadoop

为用户生成密钥

<!-- lang: shell -->
sudo -u hadoop mkdir -p /home/test/.ssh
sudo -u hadoop ssh-keygen -t dsa
sudo -u hadoop cat /home/test/.ssh/id_dsa.pub > /home/test/.ssh/authorized_keys
sudo -u hadoop chmod 600 /home/test/.ssh/authorized_keys

建立目录

<!-- lang: shell -->
mkdir -p /app/hadoop
mkdir -p /app/hadoop/core/tmp
mkdir -p /app/hadoop/core/hdfs
mkdir -p /app/hadoop/core/hdfs/name
mkdir -p /app/hadoop/core/hdfs/data

移动目录

<!-- lang: shell -->
mv hadoop* /app/hadoop/core

权限

<!-- lang: shell -->
chmod 755 /app/hadoop/core/hdfs/data

修改配置

<!-- lang: shell -->
# 添加jre
sed '/^# export JAVA_HOME/a\export JRE_HOME=\/usr\/lib\/jvm\/java-7-openjdk-amd64\/jre' -i /app/hadoop/core/conf/hadoop-env.sh
# 添加jdk
sed '/^# export JAVA_HOME/a\export JAVA_HOME=\/usr\/lib\/jvm\/java-7-openjdk-amd64' -i /app/hadoop/core/conf/hadoop-env.sh
# 修改PATH路径
sed '/^# export HADOOP_CLASSPATH=/a\export PATH=$PATH:\/app\/hadoop\/core\/bin' -i /app/hadoop/core/conf/hadoop-env.sh
# 修改HADOOP_HOME路径
sed '/^# export HADOOP_CLASSPATH=/a\export HADOOP_HOME=\/app\/hadoop\/core' -i /app/hadoop/core/conf/hadoop-env.sh

生效配置

<!-- lang: shell -->
source /app/hadoop/core/conf/hadoop-env.sh

确认hadoop是否能正常运行

<!-- lang: shell -->
hadoop version

修改core-site.xml

<!-- lang: shell -->
vim /app/hadoop/core/conf/core-site.xml

# 在<configuration>与</configuration>之间加入

<!-- lang: xml -->
        <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost:888</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/app/hadoop/core/tmp</value>
        </property>

修改hdfs-site.xml

<!-- lang: shell -->
vim /app/hadoop/core/conf/hdfs-site.xml

# 在<configuration>与</configuration>之间加入

<!-- lang: xml -->
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.name.dir</name>
                <value>/app/hadoop/core/hdfs/name</value>
        </property>
        <property>
                <name>dfs.data.dir</name>
                <value>/app/hadoop/core/hdfs/data</value>
        </property>

修改mapred-site.xml

<!-- lang: shell -->
vim /app/hadoop/core/conf/mapred-site.xml

# 在<configuration>与</configuration>之间加入

<!-- lang: xml -->
        <property>
                <name>mapred.job.tracker</name>
                <value>localhost:889</value>
        </property>

格式化HDFS

<!-- lang: shell -->
source hadoop-env.sh
hadoop namenode -format

启动

<!-- lang: shell -->
sh /app/hadoop/core/bin/start-all.sh

检查 / 查看JAVA虚拟机线程数，去除jps本身后，是否等于5

<!-- lang: shell -->
jps |grep -v "Jps"|wc -l

# 如果不等于5 / 则用jps命令查看去除jps本身后其他JAVA虚拟机线程数
# 理论上应该有 DataNode/NameNode/SecondaryNameNode/JobTracker/TaskTracker等5个进程

<!-- lang: shell -->
 jps |grep -v "Jps"

运行状态

<!-- lang: shell -->
http://localhost:50030/     - Hadoop Map/Reduce Administration
http://localhost:50060/     - Task Tracker Status
http://localhost:50070/     - NameNode info

停止hadoop

<!-- lang: shell -->
sh /app/hadoop/core/bin/stop-all.sh

转载于:https://my.oschina.net/mehost/blog/171894