【大数据项目学习】第二章：集群节点准备1

第二章：集群节点准备1

一个初学者的大数据学习过程

---

---

1.虚拟机介绍

1.1 虚拟机是什么？

简单地说，你可以把虚拟机理解为虚拟的机器，这个虚拟的机器和真实的机器在功能实现上.几乎完全一样，只是说虚拟机的硬盘是在一个文件中虚拟出来的。

1.2 如何搭建虚拟机？

虚拟机的搭建实际上就是通过安装虚拟化的软件来实现的。即在你的真实电脑上通过安装一个虚拟化软件就可以实现虚拟机的搭建。

1.3 虚拟化软件有哪些以及该如何选择？

常见的虚拟化软件有 VMware workstation 和 Virtualbox。简单使用，两者其差不多，只是在某些功能的支持上 Virtualbox 比 VMware workstation 要差一点，virtualbox 学习也足够使用，这里我们就选择使用 VMware workstation。

2.VMware 虚拟机安装

2.1VMware 下载

VMware 可以到官网下载，也可以百度搜索下载，建议使用课程直接提供的版本VMware Workstation9。

2.2VMware 安装

2.2.1 安装

将 VMware 下载到本地目录后，直接点击运行安装。

2.2.2 选择安装类型

VMware 点击运行后，出现安装类型包括：典型和自定义。

2.2.3 选择安装的功能

选择自定义安装之后，可以选择要安装的功能和修改安装位置。

2.2.4 workstation Server 组件配置

下一步即可。

2.2.5 软件更新

将启动时检查产品更新选项去掉，防止软件更新。然后点击下一步，VMware 安装成功。VMware 破解可以通过破解软件，也可以在百度搜索到 VMware 秘钥。

3.Linux系统介绍与安装

3.1Linux 操作系统介绍

3.1.1 什么是 Linux

Linux 是一款广泛应用在服务器上的操作系统。

3.1.2 什么是操作系统

操作系统是硬件基础上的第一层软件， 应用软件都需要安装到操作系统上使用。

3.1.3 Linux 的特点

安全、免费开源、稳定、快速、多用户。多用户指一个用户的操作完全不会影响到其他用户的操作。由于 Linux 多用户的特点，Linux 操作系统广泛应用于服务器上。

3.1.4 Linux 的版本

Linux 几种常见的发行版，如商业版本 redHat : 十分稳定且好用，但是需要付费。centos：虽然不如 redHat，但功能全面，且免费。Ubuntu：拥有图形化界面，方便操作，PC 针对 Ubuntu软件较多。

3.2Linux 操作系统安装

3.2.1 centos 镜像文件下载
可以到网易：http://mirrors.163.com/或者阿里https://opsx.alibaba.com/mirror 下载centos6.5 镜像文件。

3.2.2 打开 VMware 工作界面，创建新的虚拟机

3.2.3 选择安装方式

3.2.4 选择虚拟机硬件兼容性

3.2.5 客户端操作系统安装

3.2.6 选择客户端操作系统

3.2.7 修改虚拟机名称

3.2.8 处理器配置

3.2.9 虚拟机内存配置

3.2.10 网络类型选择

常见有 3 种网络选择的方式，分别是：
（1） NAT 模式：网络地址转换模式
使用 NAT 模式，就是让虚拟机借助 NAT 功能，通过 Host 机器所在的网络来访问外网。NAT 模式下的虚拟系统的 TCP/IP 配置信息是由 VMnet8（NAT）虚拟网络的 DHCP（动态主机配置协议（Dynamic Host Configuration Protocol, DHCP）是一个局域网的网络协议）服务器提供的，无法进行手工修改，因此虚拟系统也就无法和本局域网的其他真实主机进行通信。采用 NAT 模式的最大优势就是虚拟机接入网络特别简单，不需要进行任何其他配置，只需要 Host 机器能访问互联网就行。
（2） 桥接模式
Bridge 就是 “桥 ”的意思，说起桥接，就不能不说局域网。比如我们有两个局域网络，他们的 ip 网段都处于 192.168.0.*，同时，我们希望把这两个网络连接起来，这种情况下，我们就可以采用桥接。这个时候， “桥 ”就相当于一个主机，这个机器拥有两块网卡，分别处于两个局域网中，同时在 “桥 ”上，运行着程序，让局域网 A 中的所有数据包原封不动的流入 B，反之亦然。这样， 局域网 A 和 B就无缝的在链路层连接起来了（当然要保证两个局域网没有冲突的 IP）。这就是桥的作用，在链路层无缝的沟通两个局域网。而 VMWare 的桥也是同样的道理，只不过，本来作为硬件的一块网卡，现在由VMWare 软件虚拟而来罢了！当采用桥接时， VMWare 会虚拟一块网卡和真正的物理网卡进行桥接，这样，发到物理网卡的所有数据包就到了 VMWare 虚拟机，而由 VMWare 发出的数据包也会通过桥从物理网卡的那端发出，这样，如果物理网卡可以上网，那么桥接的软网卡也没有问题了，这就是桥接上网的原理了。 在桥接时， VMWare 网卡和物理网卡应该处于同一 ip 网段，虚拟机就像是局域网中的一台独立的主机，它可以访问网内的任何一台机器。
（3） 仅主机模式
Host-Only 模式将虚拟机与外网隔开，使得虚拟机成为一个独立的系统，只与主机相互通讯。

3.2.11 选择 I/O 控制器类型

3.2.12 选择磁盘

3.2.13 选择磁盘类型

3.2.14 指定磁盘容量

3.2.15 指定磁盘文件（默认即可）

3.2.16 已经准备好创建虚拟机（可以自定义修改硬件）

3.2.17 此时已经创建好虚拟机

点击 CD/DVD 选项，然后选择前面已经下载好的 centos6.5 镜像文件。

3.2.18 启动虚拟机 hadoop01，选择第一个选项

3.2.19 选择跳过（Skip）磁盘检查

3.2.20 正式进入 centos6 安装界面

3.2.21 语言选择（强烈要求选择 English）

3.2.22 选择系统键盘

3.2.23 选择设备类型

3.2.24 询问是否丢弃存储设备上的任何数据

新装的系统选择第一个选项即可。

3.2.25 设置虚拟机主机名

3.2.26 时区选择

3.2.27 设置 root 用户密码

3.2.28 选择安装类型

3.2.29 将修改操作写入磁盘

3.2.30 选择 centos 安装方式，默认选择最小安装

3.2.31 安装完成之后，重启虚拟机即可

3.2.32 输入 root 用户名和刚刚设置的密码即可登录 centos 系统。

3.3 Linux 虚拟机网络配置

3.3.1 用 ifconfig 命令来查看网络接口配置信息

此时只能查到回环地址 127.0.0.1 和子网掩码 255.0.0.0。

3.3.2 ping 127.0.0.1

（127.0.0.1 是本地回环地址，测试本机的网络配置，能 PING 通 127.0.0.1 说明本机的网卡和 IP 协议安装都没有问题）

3.3.3 ping 网关

（查看网关：edit——>virtual network）
网关 ping 不通说明网卡链路有问题。

3.3.4 配置网卡

vi /etc/sysconfig/network-scripts/ifcfg-eth0

ONBOOT=NO 表示网卡没有开启

3.3.5 重启网络服务

（修改网卡配置，需要重启网络服务）：service network restart

3.3.6 重启网络后，通过 ifconfig 查看网络配置

3.3.7 测试运行

Ping 127.0.0.1（环路地址）
Ping 192.168.20.2（网关）
Ping 192.168.20.129（IP 地址）
Ping www.baidu.com（外网）

4.Linux 虚拟机克隆

4.1 选中克隆虚拟机对象

（虚拟机需要关闭），右键——>管理——>克隆

4.2 进入虚拟机克隆向导，进入下一步

4.3 克隆虚拟机的当前状态

4.4 选择克隆类型

4.5 修改新虚拟机名称

4.6 选择完成后，即可实现虚拟机的克隆

4.7 启动并登陆克隆的 hadoop02 虚拟机

（用户名、密码与 hadoop01节点一致）

4.8 用 ifconfig 命令来查看网络接口配置信息

此时只能查到回环地址 127.0.0.1 和子网掩码 255.0.0.0。

4.9ping 127.0.0.1

（127.0.0.1 是本地回环地址，测试本机的网络配置，
能 PING 通 127.0.0.1 说明本机的网卡和 IP 协议安装都没有问题）

4.10 ping 网关

（查看网关：edit——>virtual network）
网关 ping 不通说明网卡链路有问题。

4.11 删 除 网 卡 信 息

（ 因 为 hadoop02 是 克 隆 的 ）：
vi /etc/udev/rules.d/70-persistent-net.rules

4.12 修改网卡信息：

vi /etc/sysconfig/network-scripts/ifcfg-eth0

ONBOOT=NO 表示网卡没有开启

更改 mac 地址 HWADDR

4.13 重启克隆的虚拟机：

reboot

4.14 虚拟机重启后，通过 ifconfig 查看网络配置

4.15 测试运行

Ping 127.0.0.1（环路地址）
Ping 192.168.20.2（网关）
Ping IP 地址
Ping 外网
此时说明克隆 hadoop02 节点网络是正常的。
Hadoop03 节点重复 hadoop02 操作。