最新版本的HADOOP2.0与老版本相比有不同的目录结构。
本文将介绍一种简单安装Hadoop2.0到你的电脑上的方法(Hadoop 0.23 安装)。
这有许多可以执行的方式,现在介绍以下:
如果想安装老版本的hadoop此处不再介绍。
首先一个可用的linux操作系统,此处介绍使用ubuntu
创建一个名为hadoop的用户并做以下操作:
1、 配置SSH
2、 安装JDK
3、 安装Hadoop
更新 repository
#sudo apt-get update
下载SSH
测试
SSH
下载并解压hadoop2.0.x并解压到一个文件夹中,此处叫此文件夹为HADOOP_PREFIX
设置环境变量
1 | exportHADOOP_PREFIX= "/home/hadoop/software/hadoop-2.0.0-alpha" |
2 | export PATH=$PATH:$HADOOP_PREFIX/bin |
3 | export PATH=$PATH:$HADOOP_PREFIX/sbin |
5 | exportHADOOP_MAPRED_HOME=${HADOOP_PREFIX} |
6 | export HADOOP_COMMON_HOME=${HADOOP_PREFIX} |
7 | export HADOOP_HDFS_HOME=${HADOOP_PREFIX} |
8 | export YARN_HOME=${HADOOP_PREFIX} |
重启一次电脑使env / path 变量生效
Hadoop 2.x 版本中 /etc/hadoop 是默认的配置文件夹
需要在/etc/hadoop目录中修改/创建以下属性文件
编辑 core-site.xml
04 | < name >fs.default.name</ name > |
05 | < value >hdfs://localhost:8020</ value > |
06 | < description >The name of the default file system. Either the |
07 | literal string "local" or a host:port for NDFS. |
编辑hdfs-site.xml
03 | < name >dfs.namenode.name.dir</ name > |
04 | < value >file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/name</ value > |
05 | < description >Determines where on the local filesystem the DFS name node |
06 | should store the name table. If this is a comma-delimited list |
07 | of directories then the name table is replicated in all of the |
08 | directories, for redundancy. </ description > |
13 | < name >dfs.datanode.data.dir</ name > |
14 | < value >file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/data</ value > |
15 | < description >Determines where on the local filesystem an DFS data node |
16 | should store its blocks. If this is a comma-delimited |
17 | list of directories, then data will be stored in all named |
18 | directories, typically on different devices. |
19 | Directories that do not exist are ignored. |
25 | < name >dfs.replication</ name > |
30 | < name >dfs.permissions</ name > |
路径
file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/name与
file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/data
是计算机中的一些文件夹,用于存放数据和编辑文件的
路径必须用一个详细的URI描述。
在 /etc/hadoop 使用以下内容创建一个文件mapred-site.xml
03 | < name >mapreduce.framework.name</ name > |
08 | < name >mapred.system.dir</ name > |
09 | < value >file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/system</ value > |
14 | < name >mapred.local.dir</ name > |
15 | < value >file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/local</ value > |
路径
file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/system与
file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/local
为计算机中用于存放数据的文件夹
路径必须用一个详细的URI描述。
编辑yarn-site.xml
03 | < name >yarn.nodemanager.aux-services</ name > |
04 | < value >mapreduce.shuffle</ value > |
07 | < name >yarn.nodemanager.aux-services.mapreduce.shuffle.class</ name > |
08 | < value >org.apache.hadoop.mapred.ShuffleHandler</ value > |
在 /etc/hadoop 目录中
创建hadoop-env.sh 并添加:
export JAVA_HOME=/usr/java/jdk1.6.0_31
将以上JAVA_HOME 改为本机jdk安装地址
保存并准备格式化
格式化 namenode
# hdfs namenode –format
开始守护进程
# hadoop-daemon.sh start namenode
# hadoop-daemon.sh start datanode
可以同时启动:
# start-dfs.sh
开始 Yarn 守护进程
# yarn-daemon.sh start resourcemanager
# yarn-daemon.sh start nodemanager
或同时启动:
# start-yarn.sh
检查守护进程是否启动
# jps
2539 NameNode
2744 NodeManager
3075 Jps
3030 DataNode
2691 ResourceManager
浏览UI
打开 localhost:8088 查看资源管理页面
OK
搞定手工!
祝:Hadoop玩得愉快!
文章出处:http://blog.csdn.net/shenshouer/article/details/7613234