大数据学习笔记(二)

环境搭建

java环境

1.在/opt 下创建两个文件夹，一个module,一个software

software放安装包，module放安装包解压后的文件

将准备好的jdk和hadoop2.7.2tar包放入software文件夹中
hadoop2.7.2下载地址：http://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

//解压至/opt/module文件夹下
tar -zxvf  jdk-tar包 -C /opt/module

修改 /etc/profile文件
加入以下配置，注意自己的路径，相应作出调整

##JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_51
export PATH=$PATH:$JAVA_HOME/bin

刷新环境变量

source /etc/profile

至此，jdk安装完毕

hadoop环境搭建

与安装jdk一样
解压至module文件夹

tar -zxvf hadoop-tar包 -C /opt/module

添加环境变量

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

刷新环境变量后：

hadoop安装完成

克隆多台hadoop服务器

将准备好的hadoop100主机基本环境配置好后，克隆完整镜像，方便以后搭建hadoop集群
举例-克隆hadoop101

右击-管理-克隆，创建完整克隆
修改ip

vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改主机名

vi /etc/sysconfig/

配置host

vi /etc/hosts

192.168.18.100 hadoop100
192.168.18.101 hadoop101
192.168.18.102 hadoop102
192.168.18.103 hadoop103
192.168.18.104 hadoop104
192.168.18.105 hadoop105
192.168.18.106 hadoop106
192.168.18.107 hadoop107
192.168.18.108 hadoop108

验证jdk和hadoop

至此，两台虚拟机hadoop基础环境搭建完成，后期若需要多台虚拟机搭建集群，同样操作即可

注意事项：
若配置出现如下情况：

1 停止并禁用虚拟机 NetworkManager 服务
systemctl stop NetworkManager
systemctl disable NetworkManager

2.重新生成MAC网卡地址

3 重启虚拟机网络服务
systemctl restart network