Spark修炼之道（基础篇）——Linux大数据开发基础：第一节、Linux介绍、安装及使用初步

本节主要内容

1. Linux简史
2. Linux系统整体介绍
3. Ubuntu Linux安装
4. Linux使用初步

1. Linux简史

要讲述大名鼎鼎的Linux，必然要先从UNIX系统谈起，下面这幅图给出了Unix系统的进化图：

图片来源：http://baike.baidu.com/link?url=QfoqWtWGs-BjpnfEy_AUk7Bm3XHuf6JbN92HCOoUBfFfj8BuSDkbwmldtmUEmGRDUwqsQMIV4jCKHvdkSPr3Lq

从进化图中可以看到，目前所有的主流操作系统都源自Unix 6（1976），我们要讲的Linux系统只是类UNIX系统中的一种，它源自于Minix系统，由Linus Torvalds于1991年开发，那时候Linus Torvalds还是芬兰大学的一名学生，其信奉开源精神，将代码分布可互联网上，可以免费获取，自从该操作系统问世后，世界各地的程序员加入到该操作系统的维护、内核升级等工作中来，进行了大量艰辛的工作以使该操作系统能够与BSD版的Unix及System V Unix(SVR4)等商用操作系统的功能与新功能进行匹配。

Linux开源后也源生出了多种版本，从性质上划分，大体分为由商业公司维护的商业版本与由开源社区维护的免费发行版本。常用的Linux操作系统有三种，它们分别是Redhat、 debian及Ubuntu：

1. Ubuntu Linux。Ubuntu最大的特点在于其有着漂亮的GUI界面，包管理系统较为完善的，软件源比较丰富，技术社区资源及文档比较齐全，因此Ubuntu有着漂亮的用户界面，完善的包管理系统，强大的软件源支持，丰富的技术社区，良好的硬件兼容性，它有两种版本，分别是Desktop版本及Server版。Ubuntu比较适合初学者，因为Ubuntu的GUI界面的原因，它的大众化方向比较明显，当然因为GUI的原因，它非常消耗内存对机器的配置要求较高
   
2. CentOS。CentOS是生产环境使用最广泛的Linux操作系统，它是Red Hat Enterprise Linux（简称RHEL）源代码编译后的社区重新发布版，它是一个非常成熟的Linux发行版，它虽然也有图形用户界面，但不像Ubuntu那样强大。
   
3. Debian。Debian也比较适合用于服务器的操作系统，它比Ubuntu要更加稳定，它的内核比较简洁，只需要128M内存就可以流畅地运行，据说Debian可以几年不重启。Debian的技术资料、文档等相对于Ubuntu、CentOS等要少，它更适合Linux的高级用户使用。
   

由于本课程针对想从事大数据开发的初学者，后期也需要在Ubuntu中配置Intellij IDEA Spark、Scala开发环境，在Linux系统上进行Spark、Scala应用程序开发，因此之故本教程决定采用Ubuntu Desktop版本进行教学。

2. Linux系统整体介绍

下图给出的是Linux操作系统分层视图：

引自：A Practical Guide to Linux Commands, Editors and Shell Programming

从上图可以看到，Linux大致可以分为四层，分别是硬件、内核、系统应用及用户软件层，分层结构具有较强的安全性，也为我们屏蔽了底层硬件的复杂性。所有的系统应用都是通过内核来与底层硬件打交道的。Linux主要有如下特点：

• 提供内核编程接口，为用户操纵内核实现硬件资源访问提供了通道
• 它是一种多用户的操作系统
• 它是一种多任务的操作系统
• 强大的文件系统
• 提供Shell脚本
• 丰富的系统命令

3. Ubuntu Linux安装

对于初学者，为方便Linux的学习，可以采用安装虚拟机的方式进行，目前流行的虚拟机有：

1. Xen。Xen出身名门，起源于剑桥大学，后来被开源出来，它可以让多个虚拟机在单独一台机器上运行各自的操作系统。
2. VMware。由VMware公司开发，功能强大，软件比较成熟，本课程采用VMWare作为虚拟机的容器
3. KVM，基于Kernel的虚拟机，它也是一个开源的产品，只不过它运行在Linux上，作为Linux内核的一部分
4. Virtual Box。Sun公司的大作，可以在Windows上运行。

由于后期需要在本机上搭建Spark集群，建议机器配置内存12G以上，一般集群至少三台，SparkMaster 4G，SparkSlave01 2G，SparkSlave02 2G，本机4G，这样整体机器运行起来才会比较流畅。现在Ubuntu版本已经升到了ubuntu 15.04，但它太耗内存了，出于机器性能考虑，本教程采用Ubuntu 10.04版，VMware版本是8.0.0

VMWare下载后按默认安装即可，下面讲解一下如何安装Ubuntu 10.04
1 File->New Virtual Machine

2 选择typical，然后next

3 选择Installer disc image file(ISO)，选择Ubuntu 10.04 ISO文件

4 Personlize Linux，Full Name表示安装好的Linux hostname，Username，Password可以根据自己的需要做任意设置，然后下一步

5 设置虚拟机名称，然后next

6 设置磁盘容量，默认为20G，建议选择split virtual disk into multiple files，然后next

7 其它默认设置就可以，然后Finish

8 如此便完成Linux的配置，接下来便是系统安装过程，整个安装过程中无需人工干预，大约30分钟

4. Linux使用初步

1 命令行终端的使用
可以直接在图形用户界面上进行命令行的使用，Applications->Accessories->Terminal

也可以按Ctr+ALT+F1进入CLI（Command Line Interface）模式，

输入用户名和密码，可以得到如下界面：

切换回图形用户界面，用CTR+ALT+F8

2 超级用户root密码的设置

//采用sudo passwd命令修改root密码
xtwy@ubuntu:~$ sudo passwd
[sudo] password for xtwy: 
Enter new UNIX password: 
Retype new UNIX password: 
passwd: password updated successfully

3 切换用户

//采用su(switch user)命令切换用户
xtwy@ubuntu:~$ su root
Password: 
root@ubuntu:/home/xtwy# 

//切换回xtwy
root@ubuntu:/home/xtwy# su xtwy
xtwy