Hadoop学习笔记(一)

Hadoop学习笔记（一）环境搭建

1、前期准备

      --虚拟机：该笔记的学习过程都在虚拟机中完成

      --Linux系统：企业服务器的大多数选择，本人学习中使用的是CentOs7，其他的系统可能在系统命令上存在许多差异。

      --JDK安装包：在Linux系统中使用的jdk，版本1.6+就行,本人学习

      --Hadoop安装包：本人学习使用的是2.5.0，由于版本不同产生的差异较大，在命令上请以官网对应版本命令为准。

      --远程连接工具：主要用于远程访问系统和上传下载文件，本人使用了SecureCRT和Filezilla

2、Linux系统安装与创建相关目录与用户

      2.1、在虚拟中安装Linux系统在此不作介绍，百度即可

      2.2、关闭系统防火墙、seLinux  设置开机不检查，设置网络IP为静态IP

      2.3、创建普通用户hadoop，修改主机名(系统默认是localhost),增加ip与主机名映射（修改/etc/hosts文件），重启系统。

             注：如果没有特殊说明，后续的所有操作都由hadoop用户完成

      2.4、使用hadoop用户登陆系统在opt目录下创建softwares与modules目录，softwares目录中存放各种软件包，modules目录作为

              软件的安装路径

             目录结构如下：

                       --opt

                            --softwares

                            --modules

       2.5、上传jdk、hadoop安装包到系统的/opt/softwares

3、安装JDK,删除自带JDK与配置环境变量

         解压JDK到 /opt/modules目录下，可参考：http://blog.csdn.net/jiangnan8710/article/details/53884034

         注：配置环境变量与生效需要root用户操作

4、安装Hadoop与修改Hadoop配置

      4.1、 解压Hadoop安装包到/opt/modules目录下

      4.2、修改hadoop-env.sh、yarn-env.sh、mapred-env.sh中的jdk路径，文件所在路径:/opt/modules/hadoop-2.5.0/etc/hadoop/

            hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/opt/modules/jdk1.7.0_67

             yarn-env.sh

# some Java parameters
export JAVA_HOME=/opt/modules/jdk1.7.0_67

            mapred-env.sh

export JAVA_HOME=/opt/modules/jdk1.7.0_67

以上就是整个Hadoop的环境搭建。