Hadoop从搭建环境到运行(虚拟机准备)

后续文章地址Hadoop从搭建环境到运行(集群建立)

Hadoop

大数据生态体系

结构图

推荐系统架构

Hadoop组成

虚拟机环境搭建

下载VMware

使用的15.1.0版本，前面下了一个版本的windows10 无法使用

下载地址 https://download3.vmware.com/software/wkst/file/VMware-workstation-full-15.1.0-13591040.exe

密钥：UA5DR-2ZD4H-089FY-6YQ5T-YPRX6

安装CentOS1.6

选择创建新的虚拟机，并找到镜像文件

使用本地网络

选择默认的SCSI控制器

• 关于SCSI参考
  [转载]: http://blog.sina.com.cn/s/blog_49f8dc400101fwt7.html “VMware vSphere 创建虚拟机时SCSI适配器的选择”

设置磁盘容量

虚拟机环境配置

更改网络配置

设置虚拟机的IP、DNS和主机名

vi /etc/sysconfig/network-scripts/ifcfg-ens*

参考文章 https://www.cnblogs.com/shireenlee4testing/p/9469650.html

Xshell连接成功

虚拟机准备

• 关闭防火墙

service iptables stop // 关闭服务
chkconfig iptables off // 关闭开机自启动
service iptables status // 查看防火墙状态
chkconfig --list iptables

这里权限可能会不够，需要切换到root用户，VMware默认的root用户密码跟自己设置的密码一样

• 在 /opt 目录下创建software module 文件夹

mkdir /opt/software /opt/module // 创建文件夹
chown whb:whb /opt/software /opt/module // 给予权限

这里权限是root的，需要改成我们自己的

• 给予root权限

vim /etc/sudoers
whb ALL= (ALL)

• 测试权限

su whb // 这里输入自己的用户名
sudo ls // 不报错就证明可以了
exit; // 退回到root

修改Hosts文件

vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.209.100 hadoop100
192.168.209.101 hadoop101
192.168.209.102 hadoop102
192.168.209.103 hadoop103
192.168.209.104 hadoop104
192.168.209.105 hadoop105

修改主机名

vim /etc/sysconfig/network

• 将此虚拟机克隆一个出来，以防以后出问题了可以使用
  修改第二个虚拟机的hosts文件和主机名，同上，注意HOSENAME要改成自己需要的（Host目录里写的）
  然后修改一个文件，删除第一行，第二个name改为eth0

vim /etc/udev/rules.d/70-persistent-net.rules

JDK环境搭建

使用XFTP进行jdk和hadoop文件的传输，发现传输错误，查了一下原因发现是权限不足，使用root用户连接并右键opt(根据个人情况勾选包含子目录)文件对权限进行修改

• 解压文件（jdk和hadoop）

tar -zxvf (你的jar包) -C /opt/module (这里是解压路径 )

• 设置环境变量

sudo vim /etc/profile

在文件最后添加

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_141
export PATH=$PATH:$JAVA_HOME/bin

验证

source /etc/profile
echo $JAVA_HOME

• 同样的方法解压hadoop并配置环境变量

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin

注意：这里还需要sbin文件夹

后续查看下一篇文章：Hadoop从搭建环境到运行(集群建立)