部署Hadoop之前的准备工作

预备工作

• Linux基本知识和命令
• vmware workstation Pro 15
• centos 6

vmware中文名：威睿
可能书中也会带有资源，二维码或者是网站啥的

0. Linux操作系统的继续充电

Linux表示的是Linux内核，版本有300多个，使用最普遍的发行版有十来个，它是一个开源的OS，大体上可以分为两类

• 商业公司维护的发行版本，以Redhat为代表
  • Redhat 国内最多人用的Linux系统
  • centos 稳定性好，服务器上用的多
  • RHEL 稳定性好，服务器上用的多
• 社区维护的发行版本
  • Debian 是社区类Linux中的典范
  • Ubuntu 友好容易上手，最适合作为桌面系统

1. 在VMware中搭建Linux集群

在vmware中安装centos的3种方法

1. 通过下载的ISO镜像文件安装
2. 从已经安装好的计算机移植centos6
3. 从本机克隆centos
   

我们在这里搭建Linux集群，就是要在vmware中部署3个Linux的虚拟机
三种方法都试过了，感觉第三种方法是最好用

2. VMware中Linux集群的配置工作

2.1 设置主机名

在终端中，提示符是$表示当前的模式是普通用户模式
如果提示符是#，表示当前的模式是root用户

• Linux中的编辑器
  • gedit ex vi 行编辑器
  • vim emacs 全屏幕编辑器

root@wgw，这个@符号后面的东西就是主机的名字

区分用户：普通用户和root用户
理解什么是主机名

可以在终端中使用hostname命令来查看当前主机的名字

主机名是主机名，用户名是用户名，二者可是不一样的！

2.2 网络设置

可以用DHCP服务器来默认分配IP地址，但是这里的分配是动态分配的，时间到了后可能会发生变化

建议在IPv4中手动配置IP地址，几个重要概念

• 子网IP
• 子网掩码
• 网关
• 广播地址
• 主机的IP地址

为了用计算机名进行网络访问，我们可以修改hosts文件中的主机名与IP地址对照表，我们需要在root用户下编辑/etc/hosts文件即可

2.3 关闭防火墙

大数据应用系统通常部署在linux集群上，一般属于内部网络平台，且计算机之间的通信频繁，不需要启动防火墙

所以有必要在集群中关闭所有虚拟机的防火墙，为后面安装Hadoop并运行MapReduce程序创造条件

• 在centos6和7中查看和关闭防火墙的命令是并不相同的

注意：关闭防火墙的权限需要在root用户下才能进行

2.4 安装JDK

Hadoop平台是基于Java开发环境的
在升级Hadoop的过程的时候，不能简单的升级JDK，而是需要找到合适的搭配关系

实验环境：JDK:1.8，Hadoop：3.1.0

1. 在root用户下安装JDK

在安装JDK的时候必须切换成root用户

如何将下载好的JDK从Windows中发送到Linux中？

xshell6中有一个xftp工具，用来给Linux传送文件非常好用

在解压好JDK中后还需要进行Java环境变量的配置

2. 配置环境变量

2.5 免秘钥登录配置

实际中的集群都要进行免秘钥登录配置
不然机器太多认证操作会大大降低工作效率

---

Linux基本命令的再充电

常用的Linux命令：ls,cd,mkdir,cat,mv,su,ifconfig,ping,tar,source

• 内部命令：是由shell实现的命令
• 外部命令：通过外部程序提供的命令，例如Java，javac

mv命令

可以用来对文件或者目录进行改名或者复制

tar命令

小细节：该命令再指定参数的时候，会调用相应的压缩程序进行压缩和解压

文件名不一定要以tar.gz来结尾，只是说明了使用的压缩程序是bzip2

如何回到普通用户？

1. su user
2. exit 即可退出root用户