大数据技术基础之系统安装

前言

   Linux系统有很多分支，比如Ubuntu, Centos, Redhat等，我在这篇博客采用的是Ubuntu-16.04的系统，之前使用的是Centos 6.8操作系统，结果发现操作起来不是很舒服，画面也有些粗糙（我没有尝试过优化）。当然因为Hadoop的集群都已经搭建好了，就没有更换系统，因为Hadoop集群的搭建不是一件容易的事，为了省事，只能忍着了。让我换系统的契机是我不小心把master（集群的主服务器）的重要配置文件给删除了（无法恢复），因为是在root用户下使用的系统，删除这些都行是没有任何友情提示的。因此，我不建议大家为了省事而直接使用root用户来进行集群的搭建，搭建过程中要时刻注意文件的权限。在换了操作系统之后，我就开始寻找Ubuntu系统搭建hadoop集群的教程，刚好厦门大学的林老师在mooc上讲大数据应用，因此就跑过去蹭课了。本教程可视为是林老师教程的搬运，或者补充，比如zookeeper的集群部署。
   原教程链接如下：http://dblab.xmu.edu.cn/blog/285/

操作流程

linux系统下载
链接：https://pan.baidu.com/s/17D4nFmDsIx2j5WcyQBOV7Q
提取码：903u

VMware-workstation下载
链接：https://pan.baidu.com/s/1Fe_K9jJcmVH9QSgXg1ohiw
提取码：xmtl

  两个资源包都下载好之后，VMwre-workstation的安装是普通软件的安装，没什么需要多说的，下面就开始安装系统前的准备工作以及正式安装的说明。
第一步
  将下载好的.iso镜像文件放在一个文件夹中，尽量不要放在桌面，或者BaiduYunDowning等地方，养成一个好的习惯，因为这个文件在你安装系统之后是不能随便移动的。我放置的位置是虚拟机系统的保存文件夹，如下所示

下一步
 网络配置
虚拟机上方工具栏：编辑 -> 虚拟网络编辑器 -> 更改设置 -> VMnet8，选择NAT模式
子网IP：172.20.94.0
子网掩码：255.255.255.0（可以不用在意，系统会自动更加子网IP更新）
点击NAT设置 -> 网关IP：172.20.94.1  #同一个集群，网关需要一样
点击DHCP设置 -> 起始IP：172.20.94.101  终止IP：172.20.94.110 #设置虚拟机的IP范围从101-110
以上是网络配置的全过程，请一步一步按步骤来，每次完成后都要核对，要不然越到后面，越不知道那里出错，各种千奇百怪的报错，提醒。
网络配置好之后，就正式开始系统的安装进程。
文件 -> 创建新的虚拟机

一直点击下一步，直到出现以下界面，选择稍后安装操作系统

这里选择对应的版本

这里是对虚拟机进行命名，默认是你的操作系统名称，因为我们后期要搭建hadoop集群，因此尽量选择一个有意义的名字：dm-1

内存可以根据实际情况考虑，如果这台机器作为主节点，可以设置为2G或者3G，而其他的从节点可以考虑稍微小一点，处理器的核心、线程这些可以不用考虑。

一直点击下一步，选择推荐设置就好，这里点击自定义硬件，因为我们之前选择了稍后安装操作系统，这里就是为了这个稍后

按箭头所指进行操作就行，选好映像文件之后，点击关闭，点击完成

点击完成之后，任务栏里会出现你刚刚新建的虚拟机，点击开启虚拟机

点击安装

这里选择默认就好，高级教程里是选择自定义的，比如交换内存swp多大这样的

时区可以暂时不管，键盘布局都选择汉语就好，可以不用改动

这里的用户名和计算机名，建议都选择dm-1，尽量选择一样的

密码尽量选择简单一点的

接下来就是耐心等待环节，请勿点击跳过。

按照完之后点击重启就行，重启之后，我们开始时间的校对
  ubuntu的时间校对是需要使用npt包来进行的，我们使用apt-get命令来获取包。
  首先先选择修改网络的映射源
点开系统设置

选择软件与更新

中国的服务器任选一个mirrors镜像，这里选择的是阿里云的，选择好之后点击点击选择服务器，然后选择重新载入，换个网络好一点的地方，等待更新



映射源修改好之后，我们就可以进行命令行下载了。
执行 sudo apt-get update #更新apt-get包，要不然可能无法使用

执行
sudo apt-get install ntpdate
ntpdate cn.pool.ntp.org #更新当前时间
hwclock --systohc #将时间写入硬件
执行命令时，如果报错权限不允许，可以在指令前加入sudo

系统安装到这里，其实都差不多都已经结束了，下面就是一些优化。比如大家的虚拟机界面可能太小，不好操作；物理机和虚拟机文件不互通，不能复制粘贴；运行命令行指令时，总是提醒Permission denied等。
前两个问题可以通过安装Vmtools解决，后一个问题则是提升用户权限。
虚拟机 -> 安装vmware-tools
这时桌面上会出现一个压缩包，选中，点击解压到此处，找到install.pl文件，双击运行。一路狂点Enter就好，直到出现以下界面。

用户权限更改
执行命令：sudo adduser dm-1 sudo

整个系统的安装到这里就结束了，关于hadoop集群的教程，我后期也会搬运过来，谢谢大家支持。