rpm傻瓜安装hadoop-1.2.1总结,单机+hdfs+mapreduce

原创 2013年12月02日 13:26:38
rpm安装hadoop-1.2.1总结,单机+hdfs+mapreduce
系统:rhel 6.4 64bit, in vmware player
主机名:rhel64,替换成你自己的
-------------------------------------
下载:
wget http://mirror.esocc.com/apache/hadoop/common/stable1/hadoop-1.2.1-1.x86_64.rpm
wget http://download.oracle.com/otn-pub/java/jdk/7u45-b18/jdk-7u45-linux-x64.rpm

先rpm安装
rpm -ivh jdk-7u45-linux-x64.rpm
rpm -ivh hadoop-1.2.1-1.x86_64.rpm


会自动创建两个系统用户hdfs, mapred
在hadoop里面有3个用户
root, mapred是普通用户
hdfs是特权用户可以管理文件系统
mapred用来执行任务

环境变量(非必需)
vi /etc/profile
添加:
export JAVA_HOME=/usr/java/jdk1.7.0_45/
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
执行:
source /etc/profile

-------------------------------------
最终的配置文件(hdfs+mapreduce, 最简,共3个文件,6个属性要配)
hadoop-env.sh中的JAVA_HOME环境变量rpm安装的时候已经自动配好了

vi /etc/hadoop/core-site.xml
内容:
<configuration>
    <property>
         <name>fs.default.name</name>
         <value>hdfs://rhel64:9000</value>
    </property>
    <property>
         <name>hadoop.tmp.dir</name>
         <value>/var/tmp/hadoop</value>
    </property>
</configuration>


说明:hadoop.tmp.dir是相对于fs.default.name的,也就是说在hdfs下面的
如果不配的话,它会在/tmp目录么?不好说,也许还是在dfs.data.dir下面
只要dfs.data.dir不在/tmp下即可
不配的话,它是${fs.default.name}/tmp/hadoop-mapred

vi /etc/hadoop/hdfs-site.xml
内容:
<configuration>
    <property>
         <name>dfs.name.dir</name>
         <value>/home/hdfs/name</value>
    </property>
    <property>
         <name>dfs.data.dir</name>
         <value>/home/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

vi /etc/hadoop/mapred-site.xml
内容:
<configuration>
    <property>
         <name>mapred.job.tracker</name>
         <value>rhel64:9001</value>
    </property>
</configuration>

    -------------------------------------
要创建的目录
mkdir -p /home/hdfs/data
chown hdfs:hadoop -R /home/hdfs

要先启动hdfs才能在上面创建目录
/etc/init.d/hadoop-namenode start
/etc/init.d/hadoop-datanode start
mkdir -p /var/tmp/hadoop/dfs/namesecondary
chown hdfs:hadoop -R /var/tmp/hadoop/dfs

sudo -u hdfs hadoop dfs -mkdir /var/tmp/hadoop
sudo -u hdfs hadoop dfs -chown mapred /var/tmp/hadoop
sudo -u hdfs hadoop dfs -mkdir /user/mapred
sudo -u hdfs hadoop dfs -chown mapred /user/mapred

注:chown必须用hdfs来执行,root都没有权限
-------------------------------------
执行的命令

首次执行
hadoop namenode -format

若出错,可直接把相应name目录删掉再来一次

启动
/etc/init.d/hadoop-namenode start
/etc/init.d/hadoop-secondarynamenode start
/etc/init.d/hadoop-jobtracker start
/etc/init.d/hadoop-datanode start
/etc/init.d/hadoop-tasktracker start


停止
/etc/init.d/hadoop-namenode stop
/etc/init.d/hadoop-secondarynamenode stop
/etc/init.d/hadoop-jobtracker stop
/etc/init.d/hadoop-datanode stop
/etc/init.d/hadoop-tasktracker stop

不需要执行的:
/etc/init.d/hadoop-historyserver start
执行会出错,因为它随着jobtracker启动
-------------------------------------
确认命令
jps
(需要配JAVA_HOME并加入到PATH)

web访问端口(不需要配置,自动绑定)
需要安装lynx

hdfs:
lynx rhel64:50070
jobtracker:
lynx rhel64:50030
secondarynamenode:
lynx rhel64:50090

-------------------------------------
查看日志
vi /var/log/hadoop/hdfs/hadoop-hdfs-*node-rhel64.log
vi /var/log/hadoop/mapred/hadoop-mapred-*-rhel64.log
-------------------------------------
hdfs常用操作命令
hadoop fs -ls
sudo -u hdfs hadoop fs -mkdir my1
sudo -u hdfs hadoop fs -chown mapred /user/mapred
hadoop fs -cat /user/mapred/random-data/part-00001
-------------------------------------
执行测试任务
sudo -u mapred hadoop jar /usr/share/hadoop/hadoop-examples-1.2.1.jar randomwriter /user/mapred/random-data

写成脚本
vi hadoop-first-run.sh
内容:
hadoop-first-run.sh

        rm /home/hdfs/* -rf
        rm /var/log/hadoop/hdfs/* -f
        rm /var/log/hadoop/mapred/* -f


hadoop namenode -format


mkdir /home/hdfs/data
chown hdfs:hadoop -R /home/hdfs
mkdir -p /var/tmp/hadoop/dfs/namesecondary
chown hdfs:hadoop -R /var/tmp/hadoop/dfs


echo 'starting namenode...'
/etc/init.d/hadoop-namenode start
echo 'starting datanode...'
/etc/init.d/hadoop-datanode start


hadoop dfs -mkdir /var
hadoop dfs -mkdir /var/tmp
hadoop dfs -mkdir /var/tmp/hadoop
sudo -u hdfs hadoop dfs -chown mapred /var/tmp/hadoop


echo 'starting secondary namenode...'
/etc/init.d/hadoop-secondarynamenode start
echo 'starting job tracker...'
/etc/init.d/hadoop-jobtracker start
echo 'starting task tracker...'
/etc/init.d/hadoop-tasktracker start

注:删除home目录和log是为了确保没有残留文件影响
可以不删

使用:
先rpm安装jdk和hadoop,再配好3个配置文件,然后执行
bash hadoop-first-run.sh

不出意外的话jps就可看到相关的5个进程,用lynx或浏览器可以打开3个管理页面,可以运行测试任务
如果出意外,查看日志找原因



Kafka单机、集群模式安装详解(一)

本文环境如下: 操作系统:CentOS 6 32位 JDK版本:1.8.0_77 32位 Kafka版本:0.9.0.1(Scala 2.11) 1. 所需要的环境Kafka需要以下...
  • Lnho2015
  • Lnho2015
  • 2016年05月09日 14:41
  • 15899

Hawq安装搭建

环境列表 操作系统:centos 7 64位 Hawq版本:git clonehttps://git-wip-us.apache.org/repos/asf/incubator-hawq.git ...
  • sunziyue
  • sunziyue
  • 2016年02月29日 10:48
  • 3095

hadoop-1.2.1安装方法详解

一、环境准备 1、安装VMware软件,然后在VMware里安装三台Linux虚拟机(我使用的是redhat) 2、设置虚拟机 主机名 ip 内存 ...
  • gnail_oug
  • gnail_oug
  • 2015年07月19日 20:31
  • 1474

RPM方式安装MySQL5.6

RPM方式安装MySQL5.6 a. 检查MySQL及相关RPM包,是否安装,如果有安装,则移除(rpm –e 名称) 1 [root@localhost ~]# rpm -qa...
  • liumm0000
  • liumm0000
  • 2014年01月28日 13:21
  • 90875

Linux软件安装(rpm和yum)

rpm和yum的区别: rpm: 用来安装已经下载在本地机器上的rpm包,类似Windows里面的“添加/删除程序”可以发现并提示某个依赖包尚未安装,但需要手动先安装依赖包 yum: 能够自...
  • ClementAD
  • ClementAD
  • 2015年12月09日 09:54
  • 3522

Linux操作系统rpm包安装方式步骤

转自 : http://os.51cto.com/art/201003/186467.htm特别值得一提的是Linux操作系统有很多值得学习的地方,这里我们主要介绍Linux操作系统,包括介绍Linu...
  • mark20170902
  • mark20170902
  • 2016年08月04日 07:00
  • 6279

win10傻瓜式安装教程

工具下载 因为微软现在大力推广win10,所以可以免费获取到正版系统,我们这里去官网下载系统,首先要去官网下载安装win10所需的工具(下载地址),进入页面后,知道工具点击下载。如下图所示:  ...
  • dawn_after_dark
  • dawn_after_dark
  • 2017年06月20日 13:45
  • 1197

RPM命令详解(安装、升级、卸载)

RPM命令详解(安装、升级、卸载) rpm 常用命令 1.安装一个包  # rpm -ivh  2.升级一个包  # rpm -Uvh  3.卸载一个包  # rpm -e  ...
  • samxx8
  • samxx8
  • 2015年07月03日 10:56
  • 27327

centos7 RPM命令安装操作

RPM 安装操作
  • TaoYuanKuangDao
  • TaoYuanKuangDao
  • 2017年04月07日 23:06
  • 7177

Linux下查看rpm 包的安装路径

Linux下查看rpm 包的安装路径 rpm -qpl xxxxxx.rpm 1.如何安装rpm软件包     rmp软件包的安装可以使用程序rpm来完成。执行下面的命令   ...
  • xu_792550311
  • xu_792550311
  • 2013年12月27日 15:16
  • 12475
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:rpm傻瓜安装hadoop-1.2.1总结,单机+hdfs+mapreduce
举报原因:
原因补充:

(最多只允许输入30个字)