rpm傻瓜安装hadoop-1.2.1总结,单机+hdfs+mapreduce

原创 2013年12月02日 13:26:38
rpm安装hadoop-1.2.1总结,单机+hdfs+mapreduce
系统:rhel 6.4 64bit, in vmware player
主机名:rhel64,替换成你自己的
-------------------------------------
下载:
wget http://mirror.esocc.com/apache/hadoop/common/stable1/hadoop-1.2.1-1.x86_64.rpm
wget http://download.oracle.com/otn-pub/java/jdk/7u45-b18/jdk-7u45-linux-x64.rpm

先rpm安装
rpm -ivh jdk-7u45-linux-x64.rpm
rpm -ivh hadoop-1.2.1-1.x86_64.rpm


会自动创建两个系统用户hdfs, mapred
在hadoop里面有3个用户
root, mapred是普通用户
hdfs是特权用户可以管理文件系统
mapred用来执行任务

环境变量(非必需)
vi /etc/profile
添加:
export JAVA_HOME=/usr/java/jdk1.7.0_45/
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
执行:
source /etc/profile

-------------------------------------
最终的配置文件(hdfs+mapreduce, 最简,共3个文件,6个属性要配)
hadoop-env.sh中的JAVA_HOME环境变量rpm安装的时候已经自动配好了

vi /etc/hadoop/core-site.xml
内容:
<configuration>
    <property>
         <name>fs.default.name</name>
         <value>hdfs://rhel64:9000</value>
    </property>
    <property>
         <name>hadoop.tmp.dir</name>
         <value>/var/tmp/hadoop</value>
    </property>
</configuration>


说明:hadoop.tmp.dir是相对于fs.default.name的,也就是说在hdfs下面的
如果不配的话,它会在/tmp目录么?不好说,也许还是在dfs.data.dir下面
只要dfs.data.dir不在/tmp下即可
不配的话,它是${fs.default.name}/tmp/hadoop-mapred

vi /etc/hadoop/hdfs-site.xml
内容:
<configuration>
    <property>
         <name>dfs.name.dir</name>
         <value>/home/hdfs/name</value>
    </property>
    <property>
         <name>dfs.data.dir</name>
         <value>/home/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

vi /etc/hadoop/mapred-site.xml
内容:
<configuration>
    <property>
         <name>mapred.job.tracker</name>
         <value>rhel64:9001</value>
    </property>
</configuration>

    -------------------------------------
要创建的目录
mkdir -p /home/hdfs/data
chown hdfs:hadoop -R /home/hdfs

要先启动hdfs才能在上面创建目录
/etc/init.d/hadoop-namenode start
/etc/init.d/hadoop-datanode start
mkdir -p /var/tmp/hadoop/dfs/namesecondary
chown hdfs:hadoop -R /var/tmp/hadoop/dfs

sudo -u hdfs hadoop dfs -mkdir /var/tmp/hadoop
sudo -u hdfs hadoop dfs -chown mapred /var/tmp/hadoop
sudo -u hdfs hadoop dfs -mkdir /user/mapred
sudo -u hdfs hadoop dfs -chown mapred /user/mapred

注:chown必须用hdfs来执行,root都没有权限
-------------------------------------
执行的命令

首次执行
hadoop namenode -format

若出错,可直接把相应name目录删掉再来一次

启动
/etc/init.d/hadoop-namenode start
/etc/init.d/hadoop-secondarynamenode start
/etc/init.d/hadoop-jobtracker start
/etc/init.d/hadoop-datanode start
/etc/init.d/hadoop-tasktracker start


停止
/etc/init.d/hadoop-namenode stop
/etc/init.d/hadoop-secondarynamenode stop
/etc/init.d/hadoop-jobtracker stop
/etc/init.d/hadoop-datanode stop
/etc/init.d/hadoop-tasktracker stop

不需要执行的:
/etc/init.d/hadoop-historyserver start
执行会出错,因为它随着jobtracker启动
-------------------------------------
确认命令
jps
(需要配JAVA_HOME并加入到PATH)

web访问端口(不需要配置,自动绑定)
需要安装lynx

hdfs:
lynx rhel64:50070
jobtracker:
lynx rhel64:50030
secondarynamenode:
lynx rhel64:50090

-------------------------------------
查看日志
vi /var/log/hadoop/hdfs/hadoop-hdfs-*node-rhel64.log
vi /var/log/hadoop/mapred/hadoop-mapred-*-rhel64.log
-------------------------------------
hdfs常用操作命令
hadoop fs -ls
sudo -u hdfs hadoop fs -mkdir my1
sudo -u hdfs hadoop fs -chown mapred /user/mapred
hadoop fs -cat /user/mapred/random-data/part-00001
-------------------------------------
执行测试任务
sudo -u mapred hadoop jar /usr/share/hadoop/hadoop-examples-1.2.1.jar randomwriter /user/mapred/random-data

写成脚本
vi hadoop-first-run.sh
内容:
hadoop-first-run.sh

        rm /home/hdfs/* -rf
        rm /var/log/hadoop/hdfs/* -f
        rm /var/log/hadoop/mapred/* -f


hadoop namenode -format


mkdir /home/hdfs/data
chown hdfs:hadoop -R /home/hdfs
mkdir -p /var/tmp/hadoop/dfs/namesecondary
chown hdfs:hadoop -R /var/tmp/hadoop/dfs


echo 'starting namenode...'
/etc/init.d/hadoop-namenode start
echo 'starting datanode...'
/etc/init.d/hadoop-datanode start


hadoop dfs -mkdir /var
hadoop dfs -mkdir /var/tmp
hadoop dfs -mkdir /var/tmp/hadoop
sudo -u hdfs hadoop dfs -chown mapred /var/tmp/hadoop


echo 'starting secondary namenode...'
/etc/init.d/hadoop-secondarynamenode start
echo 'starting job tracker...'
/etc/init.d/hadoop-jobtracker start
echo 'starting task tracker...'
/etc/init.d/hadoop-tasktracker start

注:删除home目录和log是为了确保没有残留文件影响
可以不删

使用:
先rpm安装jdk和hadoop,再配好3个配置文件,然后执行
bash hadoop-first-run.sh

不出意外的话jps就可看到相关的5个进程,用lynx或浏览器可以打开3个管理页面,可以运行测试任务
如果出意外,查看日志找原因



相关文章推荐

hadoop通过RPM包安装

hadoop-1.1.0 rpm + centos 6.3 64 + JDK7 搭建全分布式集群的方法   第一步 ,环境准备.  服务器3台,可以用3个虚拟机代替. 操作系统....

Delphi7高级应用开发随书源码

  • 2003年04月30日 00:00
  • 676KB
  • 下载

Storm概念、原理详解及其应用(一)BaseStorm

Storm是基于数据流的实时处理系统,提供了大吞吐量的实时计算能力。通过数据入口获取每条到来的数据,在一条数据到达系统的时候,立即会在内存中进行相应的计算;Storm适合要求实时性较高的数据分析场景。...

hadoop通过RPM包安装

hadoop-1.1.0 rpm + centos 6.3 64 + JDK7 搭建全分布式集群的方法   第一步 ,环境准备.  服务器3台,可以用3个虚拟机代替. 操作系统....

Hadoop-2.6.0分布式单机环境搭建HDFS讲解Mapreduce示例

Hadoop安装使用1.1 Hadoop简介 1.2 Mapreduce 案例 1.3 单机安装 1.4 HDFS分布式存储系统 1.5 伪分布式安装 1.6 课后作业 1.1 Hadoop简介 ...

Hadoop-1.2.1安装HBase(单机模式)

HBase0.98.6 稳定版下载地址为:http://mirror.bit.edu.cn/apache/hbase/stable/

ubuntu13.04环境hadoop1.2.1单机模式安装

一、虚拟机上安裝ubuntun 13.04 中文版 当然,你要是习惯看英文版,也可以直接安装英文版。 老老实实从官网下载安装即可,安装系统不是本文的重点。这里只提一个注意事项:新手安装前,...

hadoop1.2.1单机试玩-安装部署

hadoop1.2.1单机试玩-安装部署 一、Linux环境搭建 虚拟机安装Linux mint系统(基于Ubuntu16) 系统镜像下载地址:https://mirrors.tun...

Ubuntu安装单机1.2.1hadoop与伪分布式模式进行WordCount实验

一、hadoop单机和伪分布式配置步骤

Hadoop2.X配置管理1-HDFS安装配置单机版

HDFS:分布式文件系统(Hadoop Distributed File System)的缩写,是大数据分析中对文件的分布式存储的基础支持。这里主机价绍单机部署HDFS系统的安装与配置步骤,用以指导初...
  • Lusoel
  • Lusoel
  • 2016年12月26日 16:05
  • 332
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:rpm傻瓜安装hadoop-1.2.1总结,单机+hdfs+mapreduce
举报原因:
原因补充:

(最多只允许输入30个字)