Hadoop的环境搭建

Hadoop伪分布式环境搭建

Hadoop是一个能够对大量数据进行分布式处理的软件框架，当下企业越来越流行，程序员必会的，掌握的一门技术。。。
环境准备：
- JDK:jdk1.8
- hadoop:hadoop 2.8.0
- Ubuntu:Ubuntu 16.04

JDK的安装与配置

1.查看当前系统的jdk版本

java -version

如果你的系统上已经安装jdk就不需要再进行安装了，如果没有，我们通常可以使用命令安装jdk：

sudo apt-get install oracle-java8-installer

执行完命令之后，我们知道jdk是需要配置环境变量的，Unbuntu系统也不例外，通过whereis java可以查看jdk的安装目录：

将对应的目录配置到profile文件中。

vim /etc/profile

保存退出后，执行命令使环境变量生效。

source /etc/profile

至此jdk安装完成。

Hadoop的安装与配置

1.下载hadoop安装包
可以去hadoop官网上找到你想要的hadoop版本的安装包并下载,我下载的是hadoop-2.8.0.tar.gz安装包
2.解压hadoop安装包到指定目录

sudo tar -zvxf hadoop-2.8.0.tar.gz .

3.配置hadoop相关文件，目录hadoop-2.8.0\etc\hadoop下
（1）core-site.xml

 <property>
      <name>fs.defaultFS</name>      <value>hdfs://192.168.0.3:8020</value>
</property>
 <property>
       <name>hadoop.tmp.dir</name>
       <value>file:/home/tmp</value>
</property>

（2）mapred-site.xml

<property>                                                                                  <name>mapreduce.framework.name</name>
     <value>yarn</value>
</property>

（3）yarn-site.xml

       <property>
               <name>yarn.resourcemanager.hostname</name>
               <value>jdu4e00u53f7</value>
        </property>
        <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
        </property>
        <property>
               <name>yarn.resourcemanager.address</name>
               <value>192.168.0.3:8032</value>
       </property>
       <property>
               <name>yarn.resourcemanager.scheduler.address</name>
               <value>192.168.0.3:8030</value>
       </property>
       <property>
            <name>yarn.resourcemanager.resource-tracker.address</name>
             <value>192.168.0.3:8031</value>
      </property>
      <property>
              <name>yarn.resourcemanager.admin.address</name>
               <value>192.168.0.3:8033</value>
       </property>
       <property>
               <name>yarn.resourcemanager.webapp.address</name>
               <value>192.168.0.3:8088</value>
       </property>

（4）hdfs-site.xml

<property>             <name>dfs.namenode.name.dir</name>             <value>file:/home/dfs/name</value>
</property>
<property>              <name>dfs.datanode.data.dir</name>             <value>file:/home/dfs/data</value>
</property>
 <property>
     <name>dfs.replication</name>
     <value>1</value>
</property>
<property>
     <name>dfs.permissions</name>
     <value>false</value>
</property>

（5）hadoop-env.sh

（6）添加hadoop添加全局系统变量（etc\profile）

保存后执行source /etc/profile使环境变量生效，至此单机版hadoop环境配置完成

SSH免密码登录

（1）获取密钥

ssh-keygen -t rsa -P ""

（2）复制到authorized_keys

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

（3）执行ssh localhost即可实现免密登录

ssh localhost

测试hadoop环境是否搭建成功

（1）格式化namenode

hdfs namenode -format

（2）启动所有守护进程

./hadoop-2.8.0/sbin/start-all.sh

（3）验证执行jps命令，有如下进程说明hadoop正常启动

以上hadoop环境就算全部搭建完成了。