LXC简介及通过LXC在CentOS上构建单机集群

为什么80%的码农都做不了架构师？>>>   

LXC介绍

linux container(LXC)就是一种操作系统级的虚拟化技术。是基于Linux操作系统的虚拟化技术，翻译为linux 容器。它可以提供轻量级的虚拟化，以便隔离进程和资源，而且不需要提供指令解释机制以及全虚拟化的其他复杂性。

容器有效地将由单个操作系统管理的资源划分到孤立的组中，以更好地在孤立的组之间平衡有冲突的资源使用需求。与虚拟化相比，这样既不需要指令级模拟，也不需要即时编译。容器可以在核心 CPU 本地运行指令，而不需要任何专门的解释机制。此外，也避免了半虚拟化和系统调用替换中的复杂性。通过提供一种创建和进入容器的方式，操作系统让应用程序就像在独立的机器上运行一样，但又能共享很多底层的资源。例如，可以有效地共享公共文件（比如 glibc）的页缓存，因为所有容器都使用相同的内核，而且所有容器还常常共享相同的 libc 库（取决于容器配置）。这种共享常常可以扩展到目录中其他不需要写入内容的文件。

容器在提供隔离的同时，还通过共享这些资源节省开销，这意味着容器比真正的虚拟化的开销要小得多。Linux Container提供了在单一可控主机节点上支持多个相互隔离的server container同时执行，Linux Container有点像chroot，提供了一个拥有自己进程和网络空间的虚拟环境。LXC 通过利用内核的CGroup来提供用户空间的对象，用来保证资源的隔离和对于应用或者系统的资源控制，通过namespaces提供资源隔离。

LXC是一种不同于KVM的另类的虚拟化实现方案，容器有效地将由单个OS管理的资源（计算，存储，网络）划分到孤立的组中，与传统的虚拟化相比，这样不需要指令级模拟。避免了虚拟化中系统调用替换中的复杂性。容器是下列两个技术的结合，在chroot的基础上，使用namespace增强chroot环境的隔离性，使之成为有效的容器：

1）chroot,在linux系统中，根目录就是”/”，但使用chroot可以用任意指定的目录作根目录

2）namespace, 相当于单独的TCP/IP进程，用于网络资源的隔离

通过提供一种创建(创建容器就是将一个名称与一个配置文件关联，lxc-create-n name -f configfile)和进入容器的方式（ssh,VNC (GUI), VT: tty (text),VT:X(GUI)，操作系统让应用就像在独立的机器上运行一样，但又能共享很多底层的资源。LXC配置文件的例子如下：

lxc.utsname = my_ssh_container
lxc.network.type = veth
lxc.network.flags = up
lxc.network.link = br0
lxc.network.ipv4 = 10.0.2.16/24
lxc.network.name = eth0
lxc.mount = ./fstab
lxc.rootfs = ./rootfs

无论配置文件如何，用LXC工具启动的容器有自己的系统进程视图，以及自己的挂载树和可用的进程间通信（IPC）资源视图。除了这些以外，当一个容器启动时，配置中未提到的任何类型的资源都被认为是与主机共享。

通过LXC构建单机集群

LXC随Kernel-2.6.27发布，在Kernel-2.6.29提供完整功能。我所试验的系统是CentOS-6.0。在CentOS上试验LXC是很麻烦的，如果不是必须的话，还是建议在Ubuntu上试验和应用，都很方便。

1. 构建虚拟的根文件系统。虚拟的根文件系统是虚拟操作系统独立的根文件系统，与其他虚拟的根文件系统相隔离。我们采用拷贝宿主主机的文件系统来实现。

1）首先确定容器的根文件系统在宿主操作系统的文件系统中的位置。这里选择的是/lxc/${container_name},执行mkdir –p /lxc/${container_name},也可以放在其他目录比如/var/lxc/${container_name},都一样的。容器名称我这里选择的是cpt, container_name=cpt 因此，实际路径是/lxc/cpt。

2）直接拷贝宿主操作系统的根文件系统。先关闭selinux，否则拷贝/selinux目录时会报错。编辑/etc/selinux/config,将SELINUX=enforcing改为SELINUX=disabled. 然后重启。以centos6为例,centos minimal包安装后有如下目录：bin, cgroup, etc, lib, lost+found, mnt, proc ,sbin, srv, tmp, var, boot, dev ,home ,lib64 ,media, opt, root, selinux, sys, usr. 不拷贝sys，proc，dev目录，仅创建sys，proc, dev目录，因为这三个目录不存放在某个磁盘上，而是由核心在内存中产生。其余目录都拷贝过去,不拷贝容器根文件系统所在的目录/lxc.

2. 设置宿主操作系统

1）安装lxc用户态工具。包括gcc ,lxc-0.7.5以及依赖的软件包，创建目录：mkdir -p /usr/local/var/lib/lxc/ 用于存放lxc-create执行后，lxc生成的配置文件。

2）配置网桥。宿主主机和容器间通过bridge来通信，修改/etc/sysconfig/network-scripts/目录下的网卡配置文件。创建/etc/sysconfig/network-scripts/ifcfg-br0，设置相应的DEVICE，IPADDR等选项，修改/etc/sysconfig/network-scripts/ifcfg-eth0文件，去掉IPADDR等内容，设置BRIDGE=br0。然后重启网络/etc/init.d/network restart。具体脚本如下：

etc/sysconfig/network-scripts/ifcfg-br0：

DEVICE=br0
TYPE=Bridge
BOOTPROTO=static
BROADCAST=10.1.255.255
IPADDR=10.1.29.4
NETMASK=255.255.0.0
NETWORK=10.1.0.0
GATEWAY=10.1.0.254
ONBOOT=yes

/etc/sysconfig/network-scripts/ifcfg-eth1：

# Realtek Semiconductor Co., Ltd. RTL8101E/RTL8102E PCI Express Fast Ethernet controller
DEVICE=eth1
#BOOTPROTO=static
HWADDR=E0:CB:4E:B9:EB:77
#TYPE=Ethernet
#IPADDR=10.1.29.4
#NETMASK=255.255.0.0
#NETWORK=10.1.0.0
#GATEWAY=10.1.0.254
#USERCTL=no
#IPV6INIT=no
#PEERDNS=yes
ONBOOT=yes
BRIDGE=br0

3）检查宿主操作系统的/etc/fstab文件   确保宿主文件系统中已经挂载/cgroup，否则用lxc-start容器时，会报spawn错误。要在宿主系统的/etc/fstab中添加none  /cgroup cgroup defaults 0 0这一行。

4）撰写容器配置文件。需要设置容器名称，容器的网络类型，容器的ip地址，容器的虚拟根文件系统的路径等。

5）撰写容器挂载文件系统的配置文件。需要挂载/lxc/cpt/proc，/lxc/cpt/sys等目录，不能挂载{$rootfs}/var/lock/subsys，{$rootfs}/var/run，否则容器启动时，这两个目录会被隐藏，使容器启动时报错，但是这类错误不是重要错误，不会影响容器的主要功能使用。如果容器启动了nfs相关服务，需要挂载/lxc/cpt/var/lib/nfs/rpc_pipefs，挂载语句如下：sunrpc /lxc/cpt/var/lib/nfs/rpc_pipefs rpc_pipefs defaults 0 0。

6）创建容器的虚拟设备。因为容器非运行在实际的硬件上，所以需要创建虚拟设备，通过mknod命令在/lxc/cpt/dev/下创建console, pts, shm, tty等设备。例如：mknod -m 666 /lxc/cpt/dev/null c 1 3

7）其他系统设置(不是必须的)比如修改主机名，修改/etc/hosts等。

3. LXC的系统配置

1）首先切换到容器的虚拟根文件系统中。用chroot切换到容器的虚拟根文件系统中进行: chroot   /lxc/cpt /bin/bash.

2）清空容器的/etc/fstab文件。因为容器启动时，lxc-start会根据配置文件/lxc/fstab.cpt挂载。执行：rm  -f /etc/fstab; touch /etc/fstab。

3）删除容器虚拟文件系统网卡配置文件。lxc-start会根据配置文件/lxc/cpt.conf启动虚拟网卡。执行：rm  -f /etc/sysconfig/network-scripts/ifcfg-eth0。

4）修改容器系统启动配置文件和启动脚本。容器启动和实际操作系统启动还是有不少差别。很多语句不需要执行，对于centos，修改/etc/rc.d/rc.sysinit。一般是清除原文件，重新写，需要删除/var/run下后缀是pid的文件，以及/var/lock/subsys/*下的文件，清空/etc/mtab文件，语句如下：rm -f $(find /var/run -name '*pid'); rm -f /var/lock/subsys/*; rm -f /etc/mtab; touch /etc/mtab。

5）检查/etc/inittab。确保从level 3启动，语句如下: id:3:initdefault:。

6）设置容器启动时需要同时启动的服务用chkconfig命令开启和关闭相关服务。

7）修改主机名和root密码等信息。编辑/etc/sysconfig/network，修改HOSTNAME后的值为自己设定的容器的主机名。执行password命令，修改root密码。修改/etc/hosts文件，配置主机名和ip的对应关系。

8）配置容器完毕，exit退出。

4. 启动容器

1）创建。lxc-create  -n  cpt  -f  /lxc/cpt.conf。lxc-create一定要用-f参数指定配置文件，否则创建的容器的配置文件是空的(/usr/local/var/lxc/cpt/config为空)

2）启动。前台启动：lxc-start -n cpt。后台启动：lxc-start -n -d cpt。

3）停止。lxc-stop –n cpt。

分布式平台的架构与部署

通常的分布式平台都是由一个或者多个管理节点，一个或者多个计算节点构成，以三个节点为例，每个节点需要运行在独立的操作系统上。因此选择二个容器，再加上一个宿主节点，构成有三个节点的集群。创建普通用户，将分布式平台所需要的配置文件模板，库文件，可执行文件拷贝到相应的目录，修改配置，设置好权限，编写启动脚本，即可完成分布式平台的部署。

1. 基本配置步骤如下：

1）先以root身份登录，并创建一个ndsa组和ndsa用户

# groupadd ndsa
# useradd -m ndsa -g ndsa

2）切换到ndsa用户，将压缩包复制到根目录后解压缩，此压缩包包含分布式平台相关的配置文件，库文件，可执行文件。

# su - ndsa
ndsa@:~ > tar xvfz dist2010.tgz

3）修改平台相关配置，编写启动停止脚本。

2. 通过在容器的宿主主机的/etc/rc.local文件中设置相关的启动命令，可以实现启动虚拟机时，启动整个分布式平台，以及相关的管理程序。启动容器和启动分布式平台之间需要间隔几秒，因为容器的启动需要花费时间。

附一些命令：

创建容器：lxc-create -n name -f configfile
列出容器： lxc-info -n name
显示容器中的进程：lxc-ps
启动系统容器，系统容器类似于虚拟机，但比虚拟机的隔离级别要低：lxc-start -n name init 
启动应用容器，应用容器只是创建一个隔离一个应用程序的单独的名称容间：lxc-execute -n name cmd
发信号到某个容器的所有进程 ：lxc-kill -n name -s SIGNAL
暂停，相当于级容器的所有进程发SIGSTOP信号：lxc-freeze -n name
恢复: lxc-unfreeze -n name
停止容器，将杀死容器内的所有进程：lxc-stop -n name

转载于:https://my.oschina.net/renguijiayi/blog/159558