红帽企业版6.0 KVM虚拟机实战攻略

在2010年4月发布的RHEL 6.0 Beta版中 ，去掉了Xen，这也许是第一个不包含Xen Hypervisor的知名Linux发行版，之前有报道过Red Hat有可能会在RHEL 6.0中用KVM完全代替Xen，现在看来以前的消息一点不假。KVM 是指基于 Linux 内核的虚拟机(Kernel-based Virtual Machine)。增加 KVM 到 Linux 内核是 Linux 发展的一个重要里程碑，这也是第一个整合到 Linux 主线内核的虚拟化技术。在 KVM 模型中，每一个虚拟机都是一个由 Linux 调度程序管理的标准进程，你可以在用户空间启动客户机操作系统。一个普通的 Linux 进程有两种运行模式：内核和用户。 KVM 增加了第三种模式：客户模式(有自己的内核和用户模式)。

KVM 所使用的方法是通过简单地加载内核模块而将 Linux 内核转换为一个系统管理程序。这个内核模块导出了一个名为 /dev/kvm 的设备，它可以启用内核的客户模式(除了传统的内核模式和用户模式)。有了 /dev/kvm 设备，VM 使自己的地址空间独立于内核或运行着的任何其他 VM 的地址空间。设备树(/dev)中的设备对于所有用户空间进程来说都是通用的。但是每个打开 /dev/kvm 的进程看到的是不同的映射(为了支持 VM 间的隔离)。KVM安装 KVM 之后，您可以在用户空间启动客户操作系统。每个客户操作系统都是主机操作系统(或系统管理程序)的一个单个进程。

1012200.jpg


一、KVM 虚拟机的管理工具

准确来说，KVM 仅仅是 Linux 内核的一个模块。管理和创建完整的 KVM 虚拟机，需要更多的辅助工具。QEMU-KVM：在 Linux 系统中，首先我们可以用 modprobe 命令加载 KVM 模块，如果用 RPM 安装 KVM 软件包，系统会在启动时自动加载模块。加载了模块后，才能进一步通过其他工具创建虚拟机。但仅有 KVM 模块是远远不够的，因为用户无法直接控制内核模块去做事情，还必须有一个用户空间的工具。关于用户空间的工具，KVM 的开发者选择了已经成型的开源虚拟化软件 QEMU。QEMU 是一个强大的虚拟化软件，它可以虚拟不同的 CPU 构架。比如说在 x86 的 CPU 上虚拟一个 Power 的 CPU，并利用它编译出可运行在 Power 上的程序。KVM 使用了 QEMU 的基于 x86 的部分，并稍加改造，形成可控制 KVM 内核模块的用户空间工具 QEMU-KVM。所以 Linux 发行版中分为 内核部分的 KVM 内核模块和 QEMU-KVM 工具。这就是 KVM 和 QEMU 的关系。 Libvirt、virsh、virt-manager：尽管 QEMU-KVM 工具可以创建和管理 KVM 虚拟机，RedHat 为 KVM 开发了更多的辅助工具，比如 libvirt、libguestfs 等。原因是 QEMU 工具效率不高，不易于使用。Libvirt 是一套提供了多种语言接口的 API，为各种虚拟化工具提供一套方便、可靠的编程接口，不仅支持 KVM，而且支持 Xen 等其他虚拟机。使用 libvirt，你只需要通过 libvirt 提供的函数连接到 KVM 或 Xen 宿主机，便可以用同样的命令控制不同的虚拟机了。Libvirt 不仅提供了 API，还自带一套基于文本的管理虚拟机的命令 virsh，你可以通过使用 virsh 命令来使用 libvirt 的全部功能。但最终用户更渴望的是图形用户界面，这就是 virt-manager。他是一套用 python 编写的虚拟机管理图形界面，用户可以通过它直观地操作不同的虚拟机。Virt-manager 就是利用 libvirt 的 API 实现的。



二、 安装配置KVM 相关软件

1 系统要求：

处理器需求:需要一台可以运行最新linux内核的Intel处理器(含VT虚拟化技术)或AMD处理器(含SVM安全虚拟机技术的AMD处理器, 也叫AMD-V)。可以使用如下命令检查：

# egrep "(vmx|svm)" color=always /proc/cpuinfo

flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt rdtscp lm 3dnowext 3dnow pni cx16 lahf_lm cmp_legacy svm extapic cr8_legacy misalignsse

flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt rdtscp lm 3dnowext 3dnow pni cx16 lahf_lm cmp_legacy svm extapic cr8_legacy misalignsse

如果输出的结果包含 vmx，它是 Intel处理器虚拟机技术标志;如果包含 svm，它是 AMD处理器虚拟机技术标志;。如果你甚么都得不到，那应你的系统并没有支持虚拟化的处理 ，不能使用kvm。另外Linux 发行版本必须在64bit环境中才能使用KVM。

2 安装软件

安装KVM模块、管理工具和libvirt (一个创建虚拟机的工 具)，我们使用命令行安装：

#yum install kvm virt-manager libvirt

#/sbin/service libvirtd start


3 确定正确加载kvm模块

运行命令 lsmod | grep kvm 检查 KVM 模块是否成功安装。如果结果类似于以下输出，那么 KVM 模块已成功安装：

# lsmod | grep kvm

kvm_amd 69416 1

kvm 226208 2 ksm,kvm_amd

4 检查KVM是否成功安装

virsh -c qemu:///system list

将会显示如下结果:

# virsh -c qemu:///system list

Id Name State

如果在这里显示的是一个错误的信息，说明有些东西出现了问题。

三、 使用virt-manager建立一个KVM虚拟机

virt-manager 是基于 libvirt 的图像化虚拟机管理软件，请注意不同的发行版上 virt-manager 的版本可能不同，图形界面和操作方法也可能不同。本文使用了红帽6企业版的 virt-manager-0.8.4-8。创建KVM虚拟机最简单的方法是通过virt-manager接口。从控制台窗口启动这个工具，从root身份输入virt-manager命令，点击file菜单的"新建"选项virt-manager接口界面如图2


在新建之前先建立桥接网络。

1012201.jpg



图2 virt-manager接口界面

virt-manager显示两种虚拟化方法：Qemu/KVM或者Xen，这里并选择Qemu/KVM作为hypervisor如图3。

1012202.jpg


图3 选择Qemu/KVM作为hypervisor

红帽企业版 6.0相比上个版本简化了虚拟化配置步骤分成五步：

1 选择虚拟机名称和指定一种安装方法：通过网络安装服务器或者本地CD/DVD驱动包括本地ISO文件(这种方法更简单)。

另外新版本还支持网络启动和导入之前建立的虚拟机磁盘如图4。

1012203.jpg



图4选择虚拟机名称和指定一种安装方法

2 输入本地ISO文件路径和文件名如图5

1012204.jpg

图5 输入本地ISO文件路径和文件名选择本地ISO文件

3设置虚拟机使用的内存容量和处理器数量如图6。

1012205.jpg


4配置虚拟机的存储方法。对于存储后端有两种选择：物理存储设备或者使用之前建立磁盘文件。如果出于简单测试，创建文件作为存储后端。当创建虚拟磁盘时，默认的10GB如图7。

1012206.jpg

图7 对于简易安装，选择一个文件作为存储备份后端

5 网络配置，在这里选择NAT方式。下面最后可看到虚拟机信息的概况如图8。

1012207.jpg



图8 虚拟机信息

说明："在安装前自定义配置"选项提供一些高级自定义配置。在最后窗口点击完成按钮后，安装将自动开启。过程跟平时安装普通操作系统一样，不再赘述，不久之后，你的第一台KVM虚拟机的客户机就启动并运行了。说明这里笔者在KVM 虚拟机中运行的是一个linux 发行版本BackTrack。BackTrack是精简版Linux系统以及破解软件。可以利用其破解软件 来搜寻和破解无线网络的密码。运行界面如图9。

1012208.jpg

图9 KVM虚拟机的客户机


四、 使用virsh执行高级管理任务

virsh的学习曲线非常陡峭。但是另一种可选方式virt-manager的缺陷还很明显，virt-manager需要在系统内运行，这会浪费资源并为别有目的的人提供额外的进攻点。virt-manager的另一大缺点是需要通过图形工作站运行远程接入的方式，才能对服务器上的虚拟机进行管理。而virsh则可以通过命令行执行各种各样的管理任务。如先前所说virsh通过主命令和子命令管理每个虚拟机功能。要学习virsh很困难，因为有许多命令。virsh通过主命令和子命令管理每个虚拟机功能。要查看所有命令，输入virsh help。你可能发现大量命令，不过每个命令都有帮助指南，只需要输入virsh help。例如使用virsh help uri，就可以看到所有关于virsh uri命令的帮助。不过一旦你获得一个很强的命令功能，就能获得收益。下面是virsh命令实例：

1创建一个名称是myWin7的windows 7虚拟机

使用命令：

# yum install virt-viewer

virt-install name myWin7 hvm ram 1024 disk path=/tmp/win7.img,size=10 network network:default vnc os-variant vista cdrom /dev/hda

Starting install...

Creating storage file... | 10.0 GB 00:00

Creating domain... | 0 B 00:00

Domain installation still in progress. Waiting for installation to complete.

下面安装将自动开启。过程跟平时安装普通操作系统一样，不再赘述。运行界面如图10。

1012209.jpg

图10 安装windows 7


安装windows 7

(2)查看虚拟机

# virsh -c qemu:///system list

Id 名称 状态

1 myWin7 running

(3)关闭虚拟机

#virsh shutdown myWin7

(4)彻底摧毁一个虚拟机

#virsh destroy myWin7

=========================================================================================


例子1、为kvm虚拟平台准备一个桥接网络



图形界面配置：

# virt-manager


# brctl show

bridge name bridge id STPenabled interfaces

br0 8000.14dae9eba961 yes eth0



纯配置文件进行配置：

1、建立一个关于br0接口的配置文件

# vim/etc/sysconfig/network-scripts/ifcfg-br0

DEVICE=br0

ONBOOT=yes

TYPE=Bridge <---注意B一定是大小

BOOTPROTO=static

NETMASK=255.255.255.0

IPADDR=10.1.1.21

STP=on


2、配置被桥接的物理网卡的配置文件

# vim/etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

ONBOOT=yes

BRIDGE=br0 <---被br0桥接的

HWADDR=14:DA:E9:EB:A9:61 <---必须保留


# service networkrestart

# brctl show



例子2：使用图形界面安装客户机


1、如果根分区空闲空间不够50G以上，建议新建立100G以上的分区，然后挂载某个目录


例如

/dev/sda5 --->/vmdk


2、新建立一个“存储”，专门用来保存客户机的虚拟磁盘镜像文件


随意给该存储命名，然后选择“文件目录”类型，指定系统某个目录。


备注：默认的虚拟机磁盘镜像是保存到 /var/lib/libvirt/p_w_picpaths/，但我们使用、/vmdk



3、新建一个客户机


名字（domain）随意，但建议要有规则

安装方式选择“网络安装”


ftp://10.1.1.21/el63

http://10.1.1.29/cblr/links/rhel6u3-x86_64/

nfs:10.1.1.35:/mnt/redhat5<---语法是对的，但是安装源并不存在。


例子2：再去使用pxe的方法去安装第二个虚拟


在安装客户机的过程中，可以选择ftp或者http安装方式，安装源的路径参考例子1



例子3：使用命令行去建立新的客户机

# virt-install -nwww-el6-virt5 -r 1024 --vcpus=2 -l http://10.1.1.29/cblr/links/rhel6u3-x86_64/--disk path=/vmdk/www-el6-virt5,size=10 --network bridge=br0 -v


安装过程中，可以随时关闭窗口，关闭之后可以使用命令重新打开界面：

# virt-viewerwww-el6-virt5


例子4：克隆客户机


被克隆客户机必须是处于关机状态


图形界面克隆


命令行克隆

# virt-clone -o www-el6-virt4 -n www-el6-virt5--file=/vmdk/www-el6-virt5.img --file=/vmdk/www-el6-virt5-disk2.img


由于被克隆的virt4有两个虚拟磁盘，为了能够克隆之后，虚拟磁盘的路径和名字是我们自定义的，那么必须指定两次--file参数





例子5：客户机的管理

# virsh list 列出当前开机了的客户机

Id 名称状态

----------------------------------


# virsh list --all

Id 名称状态

----------------------------------

- CactiEZ 关闭

- rhce-test2 关闭

- rhci-server1 关闭



列出某个名字的客户机的信息

# virsh dominfowww-el6-virt4


以xml的格式输出某个客户机的信息

# virsh dumpxmlwww-el6-virt4

其实命令是读取了/etc/libvirt/qemu/www-el6-virt4.xml


命令形式启动、关闭客户机

# virsh startwww-el6-virt4

域 www-el6-virt4 已开始


# virsh shutdownwww-el6-virt4

# virsh rebootwww-el6-virt4


# virsh destroywww-el6-virt4 《---类似直接断电关机 但是



设定虚拟网络

命令virsh

配置文件建立法：/etc/libvirt/qemu/networks/

图形界面



添加网卡、硬盘



如果客户机是克隆的或者是网卡做过添加、删除之后，网卡的名字会变了

shell> vim /etc/udev/rules.d/70-persistent-net.rules


SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="14:da:e9:eb:a9:61", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"


SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="40:16:9f:e9:11:64", ATTR{type}=="1", KERNEL=="eth*", NAME="eth1"

找到对应的mac地址，给对应的网卡进行更名

把当前的网卡的名字更改为你想要的名字，把无效的网卡条目删除掉


给新的网卡建立网卡配置文件

# vim/etc/sysconfig/network-scripts/ifcfg-eth0

....

...对应的MAC地址


# service networkstop

# start_udev

# service networkstart

在这一步完成如果不成功，则重启机器就好了。



配置ssh等效性，方便快速地远程登录到目标机器

客户----ssh---> 服务器

需要做的： 客户生成自己的密钥证书，把公钥存放到服务器指定的路径，这样每次登录就无需输入密码，公钥就作为登录凭证



1、客户机生成密钥对

# ssh-keygen -t rsa


2、首次登录一下目标服务器



3、把公钥拷贝到目标服务器

# ssh-copy-id -i ~/.ssh/id_rsa.pub 10.1.1.201



在线迁移：

1.宿主机配置nfs服务器，将、/vmdsk 挂载到nfs服务器。

2.客户机也同时挂载到nfs服务器，共享磁盘镜像文件。


=========================================================================================

在客户机1上部署j2ee平台

web服务 <---apache专门提供http协议服务的

|

java虚拟机 <---专门对java页面进行编译

|

数据库层



常见的中间件平台： tomcat,resin,jboss,welogic



1、安装java虚拟机（jdk）

# chmod 755 jdk-6u33-linux-x64.bin

# ./jdk-6u33-linux-x64.bin

# mv ./jdk1.6.0_33 /usr/local/java


2、安装tomcat

# tar xvf apache-tomcat-6.0.16.tar.gz

# mv apache-tomcat-6.0.16 /usr/local/tomcat


3、配置tomcat


# vim /usr/local/tomcat/bin/catalina.sh

export JAVA_HOME="/usr/local/java"



# vim /usr/local/tomcat/conf/server.xml


<Connector port="80" protocol="HTTP/1.1" 《---把原有的8080修改成80

connectionTimeout="20000"

redirectPort="8443" />



启动

# /usr/local/tomcat/bin/startup.sh





# ls /usr/local/tomcat/

bin lib logs RELEASE-NOTES temp work

conf LICENSE NOTICE RUNNING.txt webapps


bin 目录存放管理脚本和命令

lib 存放一些库文件

logs 日志文件

conf 配置文件文件

webapps 是默认的网站的根目录



===============================================

客户端网络

|

宿主机（调度作用）

| 隔离网络

|-------------------|

客户机1客户机2


准备：

根据隔离网络的网段，给客户机配置静态IP

必须设定网关 <---千万别漏

必须把自己的主机名和实验中另外一台客户机的主机名都绑定在/etc/hosts



宿主机的对外网络IP是10.1.1.21


客户机1

node1.upl.com

eth0 192.168.29.11

gw 192.168.29.1


客户机1

node2.upl.com

eth0 192.168.29.12

gw 192.168.29.1




# cat /etc/hosts

127.0.0.1 ..... 千万不能删除.....


192.168.29.11node1.upl.com node1

192.168.29.12node2.upl.comnode2

192.168.29.1host





一、分别在两个客户机上部署j2ee平台


1、安装jdk


2、安装tomcat


3、配置tomcat，让其支持集群功能，能够实现session数据同步

同步技术使用的是tomcat本身的会话数据同步功能，是通过网络组播的方式把会话数据同步到集群中各个节点


<Engine name="Catalina" defaultHost="localhost"> <---在Engine里添加以下代码


<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"

channelSendOptions="8">


<Manager className="org.apache.catalina.ha.session.DeltaManager"

expireSessionsOnShutdown="false"

notifyListenersOnReplication="true"/>


<Channel className="org.apache.catalina.tribes.group.GroupChannel">

<Membership className="org.apache.catalina.tribes.membership.McastService"

address="228.0.0.4" <---集群使用组播地址

port="45564"

frequency="500"

dropTime="3000"/>

<Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"

address="auto"

port="4000"

autoBind="100"

selectorTimeout="5000"

maxThreads="6"/>


<Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">

<Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>

</Sender>

<Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>

<Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>

</Channel>


<Valve className="org.apache.catalina.ha.tcp.ReplicationValve"

filter=""/>

<Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>


<Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"

tempDir="/tmp/war-temp/"

deployDir="/tmp/war-deploy/"

watchDir="/tmp/war-listen/"

watchEnabled="false"/>


<ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>

<ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>

</Cluster>




# /usr/local/tomcat/bin/shutdown.sh

# /usr/local/tomcat/bin/startup.sh



验证集群功能是否正确打开

# lsof -i:80

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME

java 9912 root 29u IPv6 75056 0t0 TCP *:http (LISTEN)

# lsof -i:4000

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME

java 9912 root 31u IPv6 75063 0t0 TCP node1.upl.com:terabase (LISTEN)

# lsof -i:45564

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME

java 9912 root 38u IPv6 75065 0t0 UDP *:45564



如果每看到这些端口，就看日志 /usr/local/tomcat/logs/catalina.out 里的报错信息



注意： 必须设定默认网关，必须同步主机名，关闭iptables


二、配置前端宿主机，使用nginx实现调度功能


# vim /usr/local/nginx/conf/nginx.conf

user daemon;

worker_processes 2;

worker_cpu_affinity 01 10;

worker_rlimit_nofile 65535;

error_log logs/error.log;

pid logs/nginx.pid;

events {

worker_connections 65535;

}

http {

include mime.types;

default_type application/octet-stream;

log_format main '$remote_addr - $remote_user [$time_local] "$request" '

'$status $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for"';

sendfile on;

keepalive_timeout 15;


upstream tomcats {

server 192.168.29.11:80 weight=1 max_fails=3 fail_timeout=30s;

server 192.168.29.12:80 weight=1 max_fails=3 fail_timeout=30s;

}


server {

listen 80;

server_name bbs.upl.com;

access_log logs/host.access.log main;

error_page 404 /404/404.html;

location / {

proxy_pass http://tomcats;

proxy_set_header Host $host;

}

}

}


三、部署数据库服务器


为了节省机器，在宿主机上部署mysql-server

1、安装

略


2、建库、授权（允许远程连接的帐号）

mysql> create database jsprun default charset utf8;


mysql> grant all on jsprun.* to bbs@'192.168.29.%'

-> identified by '123';


四、部署代码


1、仅仅解压代码到其中一个节点

# unzip JspRun_6.0.0_UTF8.zip

# mv JspRun\!_6.0.0_UTF8/upload/ /usr/local/tomcat/webapps/bbs

注意，是把upload整个目录，包括目录本身移动到webapps，然后把upload改名为bbs

bss/里面直接就是jsp等代码


最终的访问路径是 http://IP/bbs/






2、让代码支持在集群中同步产生session会话信息

# vim /usr/local/tomcat/webapps/bbs/WEB-INF/web.xml

....

<distributable/> <--注意位置别错误了

</web-app>


3、仅仅让调度调度个已经解压代码的那个节点

upstream tomcats {

server 192.168.29.11:80 weight=1 max_fails=3 fail_timeout=30s;

server 192.168.29.12:80 weight=1 max_fails=3 fail_timeout=30s down;

}


# nginx -s reload


4、向导安装论坛


http://10.1.1.21/bbs/install.jsp


5、同步代码另外一个节点上，并且恢复调度器完整调度。

# rsync -alvR /usr/local/tomcat/webapps/bbs/ 192.168.29.12:/


upstream tomcats {

server 192.168.29.11:80 weight=1 max_fails=3 fail_timeout=30s;

server 192.168.29.12:80 weight=1 max_fails=3 fail_timeout=30s;

}


# nginx -s reload






测试bbs应用下产生的会话数据是否在集群中同步

# scp tomcat集群session测试文件/test.jsp 192.168.29.11:/usr/local/tomcat/webapps/bbs/

test.jsp 100% 1095 1.1KB/s 00:00

# scp tomcat集群session测试文件/test.jsp 192.168.29.12:/usr/local/tomcat/webapps/bbs/

test.jsp


开始测试