Hadoop学习笔记(一)环境搭建
1、前期准备
--虚拟机:该笔记的学习过程都在虚拟机中完成
--Linux系统:企业服务器的大多数选择,本人学习中使用的是CentOs7,其他的系统可能在系统命令上存在许多差异。
--JDK安装包:在Linux系统中使用的jdk,版本1.6+就行,本人学习
--Hadoop安装包:本人学习使用的是2.5.0,由于版本不同产生的差异较大,在命令上请以官网对应版本命令为准。
--远程连接工具:主要用于远程访问系统和上传下载文件,本人使用了SecureCRT和Filezilla
2、Linux系统安装与创建相关目录与用户
2.1、在虚拟中安装Linux系统在此不作介绍,百度即可
2.2、关闭系统防火墙、seLinux 设置开机不检查,设置网络IP为静态IP
2.3、创建普通用户hadoop,修改主机名(系统默认是localhost),增加ip与主机名映射(修改/etc/hosts文件),重启系统。
注:如果没有特殊说明,后续的所有操作都由hadoop用户完成
2.4、使用hadoop用户登陆系统在opt目录下创建softwares与modules目录,softwares目录中存放各种软件包,modules目录作为
软件的安装路径
目录结构如下:
--opt
--softwares
--modules
2.5、上传jdk、hadoop安装包到系统的/opt/softwares
3、安装JDK,删除自带JDK与配置环境变量
解压JDK到 /opt/modules目录下,可参考:http://blog.csdn.net/jiangnan8710/article/details/53884034
注:配置环境变量与生效需要root用户操作
4、安装Hadoop与修改Hadoop配置
4.1、 解压Hadoop安装包到/opt/modules目录下
4.2、修改hadoop-env.sh、yarn-env.sh、mapred-env.sh中的jdk路径,文件所在路径:/opt/modules/hadoop-2.5.0/etc/hadoop/
hadoop-env.sh
# The java implementation to use.
export JAVA_HOME=/opt/modules/jdk1.7.0_67
yarn-env.sh
# some Java parameters
export JAVA_HOME=/opt/modules/jdk1.7.0_67
mapred-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_67
以上就是整个Hadoop的环境搭建。