目前本人正在学习Hadoop,现将老师所讲内容进行总结概括如下:
注:Hadoop基于VMWare下的centos7中,因此需要掌握部分Linux命令,Linux的相关知识见此链接Linux基础知识学习,以后我也会对其进行总结。
1、环境的配置与搭建
(1)centos7镜像安装
(2)设置主机名及配置网关
由于Hadoop分布式需要多个虚拟机之间相互连接,因此每个系统都要有自己的主机名,每台主机的ip地址又有网关,修改命令:vi /etc/sysconfig/network。
(3)修改网卡ens33配置
设置网关、ip和DNS,查看网关信息的命令为:cat /Library/Preferences/VMware Fusion/vmnet8/dhcpd.conf,修改网卡的具体命令为:vi /etc/sysconfig/network-scripts/ifcfg-ens33
(4)设置DNS--->修改resovl.conf,具体命令:vi /etc/resolv.conf,内容设置为:nameserver 223.5.5.5
(5)重启网卡:service network restart,进行测试:ping www.baidu.com(前提:主机联网)
2、Linux环境的配置
(1)查看虚拟机ip地址:ifconfig
(2)为方便连接,设置域名与ip地址绑定,具体命令为:vi /etc/hosts,添加一行内容:ip地址 域名,随后进行测试:ping hadoop.skedu.com
(3)设置以域名方式访问系统: sudo vi /etc/hosts,添加对应内容:ip地址 域名
(4)在ssh工具中进行配置连接到centos主机,并在ssh工具中更新所有程序:yum update -y
(5)关闭SeLinux:vi /etc/selinux/config,将SELINUX修改为disabled
(6)重启服务器:reboot -h,关闭防火墙:service firewalld stop,关闭开机启动:systemctl disable firewalld.service
(7)在opt目录下分别创建四个子目录,modules(存放安装包),softwares(存放软件),tools(工具),datas(数据文件)
(8)使用ftp软件将java的SDK和Hadoop安装文件上传至software目录并进行安装。
3、jdk的安装及配置
(1)安装命令:rpm -ivh jdk-7u79-linux-x64.rpm
(2)配置环境变量:vi /etc/profile,在profile文件后追加以下内容:
export JAVA_HOME=/usr/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
(3)保存退出,并执行source /etc/profile
(4)更新alternatives,选择jdk版本,执行命令为:
update-alternatives --install /usr/bin/java java /usr/java/jdk1.7.0_79/bin/java 60
(4)配置jdk,执行update-alternatives --config java
4、安装和配置Hadoop
(1)解压缩软件包至modules目录:tar -zxf hadoop-2.7.3.tar.gz -C /opt/modules/
(2)配置Hadoop的JAVA_HOME环境变量: vi ${hadoop安装目录}/etc/hadoop/hadoop-env.sh,添加:export JAVA_HOME=/usr//java/jdk1.7.0_79