一、安装环境:
配好主机名:hadoop01
系统:CentOS-6.7
hadoop版本:hadoop-2.6.5-centos-6.7.tar
jdk安装版本:jdk1.8.0_73
主机名和jdk的安装可以参考之前的:《jdk在windows和linux中的安装方式 》《linux系统中主机名的设置 》
二、介绍:
Hadoop 可以在单节点上以伪分布式的方式运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。
伪分布式需要修改 2 个配置文件 core-site.xml 和 hdfs-site.xml(其中 hdfs-site.xml 主要用来配置数据块的副本数的,对于伪分布式来说,
不管你配置几个副本,它始终都只有一个副本,所以就不用管了)。
Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。
三、配置文件及安装过程
Hadoop 的配置文件位于 hadoop-2.6.5/etc/hadoop/ 文件夹中
1、 修改 hadoop-env.sh 配置文件,添加 jdk 安装目录配置
命令:vi hadoop-env.sh
2、 修改 core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoopdata</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
Stay hungry Stay foolish -- http://blog.csdn.net/zhongqi2513
<value>hdfs://hadoop01:9000</value>
</property>
</configuration>
3、 修改 slaves
命令:vi slaves
直接添加(主机名):hadoop01
4、配置环境变量
命令:vi .bashrc
直接输入:export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5(为hadoop安装路径)
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
配置完记得操作:
source .bashrc
5、 格式化 namenode
命令:hadoop namenode -format
注:出现上图一行提示表示安装成功。
6、 启动 hdfs
命令:start-dfs.start
输入命令:jps
出现如下的进程,表示启动成功。
7、 启动 yarn
命令:start-yarn.sh
8、 检查集群启动是否成功
1、 利用 jps 工具检测各进程是否启动成功
2、 Web UI 查看
HDFS:http://hadoop01:50070/
MapReduce:http://hadoop01:8088/cluster/cluster
或者使用hadoop的自带例子进行运行:
我的目录:/home/hadoop/apps/hadoop-2.6.5/share/hadoop/mapreduce
在例子目录下输入命令:hadoop jar hadoop-mapreduce-examples-2.6.0.jar pi 2 2
最后会输出:pi=4.0000000000000