Hadoop安装教程

---

前言

一、hadoop是什么？

Hadoop是一个开源分布式系统架构

分布式文件系统HDFS——解决大数据存储
分布式计算框架MapReduce——解决大数据计算
分布式资源管理系统YARN

1、处理海量数据的架构首选
2、非常快得完成大数据计算任务
3、已发展成为一个Hadoop生态圈

hadoop特点：
高扩展性，可伸缩
高可靠性
多副本机制，容错高
低成本
无共享架构
灵活 可存储任意类型数据
开源社区活跃

---

1.安装包

首先下载hadoop 安装包，

使用tar -zxvf命令来解压

tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz

解压后的文件夹hadoop-2.6.0-cdh5.14.2

由于名字太长不方便记忆，所以把文件夹改名字为hadoop

mv hadoop-2.6.0-cdh5.14.2 hadoop

---

2.配置环境变量

代码如下（示例）：

解压完成后，进入hadoop文件夹，可以看到文件结构

进入etc/hadoop文件夹，准备修改配置文件

1、输入vi hadoop-env.sh进入,添加以下代码并回车
进入后按a输入以下代码

# The java implementation to use.
export JAVA_HOME=${JAVA_HOME}

完成后按esc退出编辑模式，输入:wq并回车退出vi编辑器

用echo $JAVA_HOME查看具体地址

2、输入vi core-site.xml并回车进入修改

<configuration>
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://主机名:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
  #这里为hadoop/tmp的安装路径      
        <value>/root/software/hadoop/tmp</value>  
</property>
<property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
</property>
</configuration>

3、输入hdfs-site.xml进入修改

 <property>
        <name>dfs.replication</name>
        <value>1</value>
 </property>

4、输入mapred-site.xml进入修改

<property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
</property>

5、输入yarn-site.xml进入修改

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
 </property>
<property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
        <name>yarn.resourcemanager.hostname</name>
        #这里是当前主机的名称
        <value>host00</value>
</property>

6、输入vi /etc/profile进入修改hadoop环境变量配置

export HADOOP_HOME=/root/software/hadoop	//hadoop地址是自己实际的
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

7、修改名字，为了后期修改方便记忆查找

mv mapred-site.xml.template mapred-site.xml  

8、输入source /etc/profile使配置环境变量生效

source /etc/profile

9、格式化hdfs

hadoop namenode -format

10、启动hadoop

start-all.sh

11、成功启动后输入jps检查启动项