一步步实现SDDC--多角色服务器部署

357 篇文章 137 订阅

实验摘要:

1>创建一台虚拟机

2>虚拟机安装VMware Tools(针对Windows操作系统)

 

正文:

通过之前的两篇文字,相信各位已经了解ESXI服务器的部署和基本配置。

在今天的讨论中,我们将完成迷你SDDC环境中,第一台虚拟机的部署工作。

这台虚拟机将作为整个SDDC环境的域控制器ADDC,域名解析服务器DNS,时钟同步服务器NTP Server,动态主机设置协议服务器DHCP Server和路由器Router,我将其称呼为“多角色服务器”

 

主题:迷你SDDC环境搭建

任务2:多角色服务器虚拟机部署

 

首先,我们先来看看一台普通Windows 10桌面操作系统的故事:

一台普通的台式机,上面运行着Windows10桌面操作系统,用户安装了许多应用,包括Microsoft Word和Chrome浏览器;台式机的CPU和内存满足这些应用的计算处理需求,台式机通过网卡连接到家用宽带网络,用户在网上冲浪后,将收集到的信息记录在Word文档中,存放在台式机的一块硬盘上。

在之前的讨论中,我们已经了解到,VMware ESXI也是一个操作系统,并且是服务器虚拟化操作系统。

一台普通的服务器,上面运行着ESXI6.7U1服务器虚拟化操作系统,用户安装了许多虚拟机,包括Windows和CentOS;服务器的CPU和内存满足这些虚拟机的计算处理需求,服务器通过网卡连接到数据中心网络,虚拟机提供业务的同时,将收集到的系统日志记录在本地磁盘,存放在服务器后端的LUN中。

由此可见,在ESXI上部署一台虚拟机,就和在Windows操作系统上安装一个微信相类似,他们的对应关系也非常雷同。

一个典型的虚拟机部署流程,包括以下几个步骤:

  • 通过Host Client访问ESXI管理界面

  • 上传Windows Server 2008R2的安装镜像到ISO文件夹

  • 选中进入Virtual Machine界面,点击Create/Register VM

  • 选择Create a new virtual machine,创建一台新的虚拟机

  • 定义虚拟机命名为ADDC,这里强调一点,请尽量避免使用包括空格、中文在内的特殊符号,建议使用大小写英文字母和数字;除了定义虚拟机命名外,还需要定义该虚拟机的操作系统版本和兼容性版本

  • 选择将虚拟机ADDC存放在数据存储LOCDS-V587-ESXI-01上

  • 定义虚拟机的硬件分配,包括2vCPU,4GB内存,40GB硬盘

----------------------------华丽丽的分界线----------------------------

这里特别需要注意2点:vCPU的设置和硬盘置备方式

以Windows10操作系统为例,该版本最多支持2个物理CPU;当管理员需要为一台Windows10操作系统的虚拟机分配4vCPU的时候,它有3种不同的分配方式:

4Sockets,1Core per Socket

2Sockets,2Core per Socket

1Sockets,4Core per Socket

很明显,如果选择第1种分配方式,操作系统只能识别到2vCPU,因此在分配vCPU的时候,一定要注意虚拟机操作系统本身的限制。而这个限制与服务器虚拟化产品无关,无论是用VMware的ESXI,还是微软的Hyper-V,思杰的XenServer,或者开源的KVM,都无法避免这个问题。

对于硬盘而言,制备方式包括精简置备和厚置备,由于迷你SDDC环境的硬盘空间有限,因此我们选择精简置备方式

在精简置备模式下,虚拟机VMDK占用的空间大小=实际使用的空间大小;如果使用厚置备,虚拟机VMDK将立刻占用后端VMFS数据存储40GB空间

我们再来举个例子,说说什么叫置零。

假如我们在使用Windows操作系统的时候,误删了一个文件,并且清空了回收站。虽然文件消失不见了,但是可以通过一些工具,把文件找回来。前提是这个文件在硬盘中的空间没有被新的数据覆盖掉。换言之,如果黑客获得了一块存放过机密信息数据的硬盘,通过工具,黑客是可以找回硬盘中的敏感数据文件的。为了避免出现这种风险,安全管理员会将硬盘全部置零,把之前文件的数据全部覆盖掉。

立刻置零和延迟置零的区别,就在于是否在分配硬盘的同时,进行置零操作

----------------------------华丽丽的分界线----------------------------

  • 选择为虚拟机添加1块虚拟网卡VNIC,网卡类型建议选择VMXNET3,同时将该虚拟机上联到External这个虚拟机端口组

  • 确认虚拟机各项设置无误后,点击Finish,开始创建操作

  • 如果在创建虚拟机后,需要对硬件分配进行调整,比如将40GB硬盘扩容到60GB,可以在选择虚拟机后,点击Actions-Edit Settings,编辑设置实现

    这其中也包括给虚拟机的DVD光驱挂载之前我们上传的安装镜像

  • 展开CD/DVD Drive选项,选择Datastore ISO file,挂载之前上传的Windows Server 2008R2安装镜像,并勾选Connect at power on

 

  • 等待虚拟机的配置文件更新,选中ADDC虚拟机,点击Power On,开启电源

  • 在开启虚拟机电源后,选择Console-Open browser console

    当然,如果客户端安装了VMRC或者VMware Workstation,可以选择Launch remote console选项

  • 在打开的Console界面,完成Windows操作系统的安装工作

  • 需要特别注意的一点,在选择安装Windows Server操作系统的时候,建议“完全安装”;“服务器核心安装”的操作系统是没有UI图形界面的,只有命令行

  • 等待Windows安装完成

  • 在Windows Server第一次正常启动的时候,系统会提示设置管理员密码

 

  • 由于为虚拟机分配的是VMXNET3类型的VNIC,因此在没有安装VMware Tools的情况下,系统是无法识别到该网卡的

  • 点击Console页面右上角的Actions-Guest OS-Install VMware Tools;ESXI会自动将VMware Tools的安装镜像挂载给虚拟机的DVD

  • 点击“运行setup64.exe”

  • 建议选择完整安装,因为VMCI Drive必须通过“完整安装”的方式安装在虚拟机操作系统,VMCI在NSX的一些使用场景中非常重要

 

 

 

 

  • 在完成VMware Tools的安装后,必须重启操作系统才能生效配置

    而VMware Tools的修改、更新或者卸载,同样需要重启操作系统

  • 在完成VMware Tools安装后,还有一系列的操作系统初始化工作

    首先选择更改计算机名

  • 更改计算机名后,必须要重启才能生效

  • 选择“稍后重新启动”

  • 开启Windows Server的远程桌面访问,对于学习环境,可以选择“允许运行任意版本远程桌面的计算机连接”

  • 关闭Windows自带的防火墙

  • 给虚拟机分配IP地址:172.20.9.1/24

    特别注意,不设置默认网关

  • 禁用系统自带的IPv6

  • 完成上述所有配置后,选择重启Windows Server操作系统

  • 通过Windows10管理主机测试Windows Server 2008R2的网络连通性,确认之前的一系列配置生效

至此,现在的迷你SDDC环境实际拓扑就是下面的样子:

这是迷你SDDC的第1台虚拟机,在后面的文章中,我们将以虚拟机的形式部署3台ESXI服务器,1台vCenter和1台NSX Manager。

无论是基于Windows操作系统,还是Linux操作系统,管理员在创建虚拟机的同时,不会再被硬件兼容性或者驱动的问题所困扰。因为在实际的应用场景中,虚拟化架构师会设计服务器采用供应商OEM的ESXI镜像来满足兼容性和驱动的要求

一台普通的台式机,通过服务器虚拟化技术可以承载至少6台虚拟机的业务。对于一台普通的机架或者刀片式服务器来说,更是可以承载数十台甚至更多的虚拟机。

因此,通过我们连续3天的演示,可以得出至少2个结论:

1. 服务器虚拟化解耦了上层操作系统与下层物理设备的依赖性

2. 服务器虚拟化可以大大提高物理服务器的资源利用率

这也是服务器虚拟化带给企业最大的收益

本系列接下来的环境中,我将陆续推出vCenter、vSAN、NSX的部署和配置内容。在此之前,我们将一起完成ADDC这台虚拟机包括域控制器、DNS服务器、NTP服务器和路由器的角色部署工作。

 

 

实验摘要:

1>安装并配置活动目录域控制器 [难度★ 复杂度★★]

     安装DNS域名解析服务器 [难度★ 复杂度★]

2>配置域组策略 [难度★ 复杂度★★★]

3>配置DNS的主机记录和反向记录 [难度★ 复杂度★]

 

 

正文:

在上一篇的内容中,我们完成了迷你SDDC环境中第一台虚拟机的安装及基本配置。在文章的最后,我提及ADDC这台虚拟机承载了许多角色,包括域控制器、DNS服务器、NTP服务器和路由器。

无论是传统的数据中心,还是软件定义的数据中心SDDC,都有一些必不可少的基础架构服务器,这其中包括:

  • NTP服务器:用以规范和统一数据中心内所有物理设备、虚拟机和其他终端的时间

  • DNS服务器:用以解析企业内部和公网域名

  • 域控制器:通过微软的活动目录AD,对成员服务器和用户等实现统一的管理

我们的迷你SDDC环境中,这些必不可少的服务器功能都通过一台ADDC虚拟机实现。

在今天的讨论中,我将向大家演示,如何将一台普通的Windows Server服务器,部署成林中的第一台域控制器和DNS服务器。

 

主题:迷你SDDC环境搭建

任务3:多角色服务器部署域控制器和DNS服务器角色

 

在完成ADDC这台虚拟机的安装和基本配置后,我们称呼这台虚拟机叫“独立服务器”。

管理员在独立服务器上安装活动目录后,就可以提升它为“域控制器”。

如果一台独立服务器加入某一个域后,就成为这个域的“成员服务器”,管理员在成员服务器上安装活动目录后,它同样可以提升为“域控制器”。

由此可见,独立服务器、成员服务器和域控制器的关系如下:

后续的演示内容,就是将ADDC提升为域控制器的操作步骤。

  • 我们已经开启了ADDC服务器的远程桌面功能,通过mstsc远程桌面访问ADDC

  • 输入正确的用户名和密码

  • 第一次远程桌面访问的时候,需要接受计算机RDP证书

  • 在控制台点击“添加角色”或者打开服务器管理器,点击“添加角色”

 

  • 为ADDC添加“Active Directory域服务”角色

  • 添加角色向导会自动安装与活动目录相关的功能,如.net framework3.5.1功能

  • 等待添加角色向导完成活动目录角色的添加,在安装结果页面,点击运行“域服务安装向导”

    如果关闭了角色向导,也可以在Windows命令行输入dcpromo.exe,将独立服务器提升为域控制器

  • 开始AD域服务安装向导

  • 由于是完全新建的环境,我们选择“在新林中新建域”

    从逻辑上来说,独立服务器不可能是已经加入到任何域的成员服务器,只能选择“在新林中新建域”选项

  • 成员服务器如果选择“向现有域添加域控制器”,相当于已经有多台域控制器的前提下,添加新的域控制器

  • 成员服务器如果选择“在现有林中新建域”,相当于创建一个子域,并成为这个子域的第一台域控制器

  • 定义根域的FQDN,即一般情况下我们所说的域名,如eccomat.local

  • 在创建域控制器的同时,为ADDC添加DNS服务器角色

  • 在确认各项设置无误后,点击下一步,开始安装DNS服务器角色和提升成为域控制器的进程

  • 等待域服务安装向导完成

  • 确认域服务安装向导正确完成,没有任何报错

  • 在提升成为域控制器后,必须重启ADDC虚拟机操作系统

在ADDC正常重启后,这台独立服务器就已经成为域eccomat.local中的第一台域控制器和DNS服务器;细心的朋友也会发现,ADDC还自动成为了一台NTP服务器,所有加入到eccomat.local域的成员服务器,均会向ADDC发起时钟同步请求。

 

主题:迷你SDDC环境搭建

任务4:通过组策略定义域用户密码复杂度和有效期

 

通过AD的组策略,管理员可以集中式地管理域中的用户和计算机,比如:

  • 通过定义一条计算机策略,可以设置所有计算机账户的密码复杂度

  • 通过定义一条用户策略,可以设置所有用户在登录计算机的时候,自动运行若干脚本,如挂载网盘和文件夹重定向等

  • 在一台域控制器部署后,默认会安装“组策略管理”工具,管理员可以在管理工具中找到并且打开它,实现统一的组策略管理

  • 比如,系统有一条默认的“Default Domain Policy”,我们可以通过这条组策略定义计算机策略,实现对账户密码复杂度等一系列密码相关的集中设置

    特别注意:这条“Default Domain Policy”绝对不可以删除!

  • 针对迷你SDDC演示环境,可以选择取消密码复杂度,设置密码永不过期

根据应用对象,组策略可以分为“计算机策略”和“用户策略”,每次更新组策略后,管理员可以通过Windows命令行立刻生效组策略

使用命令:> gpupdate /force

  • 对于计算机策略,必须重启计算机操作系统后才能生效

  • 对于用户策略,必须重新登录账户后才能生效

 

主题:迷你SDDC环境搭建

任务5:配置DNS主机解析记录和反向解析记录

 

在完成DNS服务器角色搭建后,还需要配置主机解析记录和反向解析记录后,才能正常解析域名

在“一步步实现SDDC--学习平台环境的搭建(1)”章节的最后,我定义了服务器主机名为v587-esxi-01.eccomat.local,在没有定义解析条目的情况下,域中的计算机是无法通过域名方式访问这台ESXI主机管理界面的

DNS解析记录的配置很简单,一般情况下,只需要配置主机解析记录和反向解析记录即可,目前暂时不需要配置SRV记录等

  • 运行“新建区域向导”,创建反向解析记录区域

  • 选择创建一个“主要区域”

  • 选择复制区域数据到所有DNS服务器

  • 创建IPv4反向查找区域

  • 定义反向查找区域的IP地址,即172.20.10.0网段

  • 选择“只允许安全的动态更新”

  • 完成区域向导配置

  • 在正向查找区域eccomat.local,新建一条主机记录

  • 添加172.20.9.21 v587-esxi-01.eccomat.local解析记录,并勾选“创建相关的指针PTR记录”,即同时创建反向解析记录

  • 等待条目创建完成

 

完成上述DNS解析条目配置后,所有将DNS服务器指向ADDC的计算机都可以正常解析v587-esxi-01.eccomat.local域名

 

在结束今天的讨论之前,还有一件必须要做的事情:

在安装ADDC虚拟机的章节,我们关闭了Windows操作系统的防火墙,但是在完成域活动目录安装后,计算机的域网络防火墙被自动开启了

因此,我们还需要关闭域网络的防火墙

  • 在控制面板页面,关闭域网络防火墙

 

经过几天的部署,我们的迷你SDDC环境现行拓扑如下:

 

在明天的讨论中,我们将继续完成ADDC其他角色的部署工作,包括NTP服务器、路由器和DHCP服务器。这些部署工作难度不大,但略显繁琐;同时也是一个SDDC演示环境中非常关键的角色。

 

实验摘要:

1>安装并配置NTP服务器角色 [难度★复杂度★★]

2>安装并配置基于Windows Server的路由器角色 [难度★复杂度★★]

3>安装DHCP服务器角色 [难度★复杂度★]

 

正文:

在上一篇文章中,我们已经完成ADDC这台虚拟机的“域控制器”和“DNS服务器”角色的安装;在今天的讨论中,我将向大家演示如何完成NTP服务器角色、DHCP服务器角色和基于Windows Server的路由器角色的部署。

 

主题:迷你SDDC环境搭建

任务6:部署NTP服务器角色

 

在开始今天的任务之前,首先要在ESXI上创建新的3个端口组,分别是:

  • MGMT-172.20.10.0/24网段:用于包括ESXI管理地址、vCenter和NSX Manager的管理地址

  • VTEP-172.20.11.0/24网段:用于NSX Overlay网络的传输

  • PHYSICAL-172.20.12.0/24网段:用于模拟数据中心物理网络

  • 在ESXI管理界面,点击“Add port group”,创建一个新的虚拟机端口组

  • 命名为MGMT,用于ESXI等基础架构服务器(虚拟机)管理地址

 

  • 依次完成VTEP和PHYSICAL两个虚拟机端口组的创建工作

 

细心的朋友一定会发现,当一台独立服务器或者成员服务器被提升为域控制器后,默认就是一台NTP服务器,对域中的所有成员服务器提供时间同步服务。

但是基于Windows Server的NTP服务器无法满足一些基于Linux操作系统的服务器NTP同步的需求,如VMware的vRealize Operation Manager、Cisco的Unified Communication Manager等;因此我建议使用Meinberg这个软件来创建一台NTP服务器。

  • 运行Meinberg安装程序

  • 选择软件的安装路径,默认即可

  • 建议在安装NTP服务的同时,创建开始菜单和管理工具

  • 定义NTP服务器的上游时间同步服务器,建议选择Asia;同时勾选“Add local clock as a last resort reference, Stratum 2”,声明本服务器为NTP时钟同步源

  • 如果对Linux的NTPD熟悉的朋友,可以阅读配置文件,或者通过对配置文件的配置,来更新NTP服务器角色

 

  • 建议选择“Use SYSTEM account”来启用NTP服务,同时勾选禁用Windows Server本身NTP相关的服务“Disable other Time Services eventually installed”

  • 等待NTP服务器软件安装完成,NTP Server服务启动

  • 点击Finish,完成并退出Meinberg安装程序

一般情况下,完成Meinberg软件的安装后,每当Windows Server操作系统重启,NTP Server服务会自动启动,提供包括ESXI和后续安装部署的vCenter、NSX Manager在内的服务器(虚拟机)时间同步;但是我一般建议再继续安装NTP Time Server Monitor软件,实现对NTP Server服务的可视化管理(UI界面)

  • 运行NTP Time Server Monitor安装程序

  • 选择软件的安装路径,默认即可

  • 根据提示,逐条点击Next,执行下一步操作即可

 

 

  • 等待两个软件安装进程完成后,可以在桌面上看到“NTP Time Server Monitor”图标,双击运行后可以实现对NTP Server服务的可视化管理

 

 

接下来,我们将完成迷你SDDC环境中模拟数据中心网络的搭建工作,由于我们将整个SDDC环境压缩在一台ESXI的服务器内,因此只能通过一台软件的路由器(ADDC虚拟机)实现多个网段之间的三层路由功能。

 

主题:迷你SDDC环境搭建

任务7:部署基于Windows Server的路由器角色

 

我们将要ADDC部署成为路由器,必须将ADDC连接到所有需要三层路由的网络,包括MGMT、VTEP和PHYSICAL三个虚拟机端口组

  • 选中ADDC虚拟机,编辑虚拟机设置

  • 添加三块VMXNET3类型的虚拟网卡,分别连接到MGMT、VTEP和PHYSICAL三个虚拟机端口组

 

 

  • 在点击Save,完成虚拟机配置的更新后,还需要再次确认这几块网卡的顺序;如图所示,四块虚拟网卡分别上联到External、VTEP、PHYSICAL和MGMT四个虚拟机端口组

  • 回到ADDC操作系统,在控制面板下的网络连接界面,可以看到四块网卡

  • 根据虚拟机VNIC的顺序和命名,建议重新命名这四块网卡,便于管理

  • 根据迷你SDDC环境的设计拓扑,更新MGMT、VTEP和PHYSICAL三块网卡的网络地址:

  • MGMT:172.20.10.1/24,不配置网关;DNS:172.20.9.1;禁用IPv6

  • VTEP:172.20.11.1/24,不配置网关;DNS:172.20.9.1;禁用IPv6

  • PHYSICAL:172.20.12.1/24,不配置网关;DNS:172.20.9.1;禁用IPv6

此时,几个不同的网段之间,尚不能实现三层路由,还需要为ADDC部署路由器的角色。

  • 在服务器管理器界面,选择“添加角色”

  • 添加“网络策略和访问服务”角色

  • 在角色服务界面,勾选“路由”和“远程访问服务”

  • 等待服务器角色安装完成

    安装路由服务角色,不需要重启ADDC操作系统

  • 管理员可以将Routing and Remote Access添加到桌面,便于后期对于路由器角色的管理

  • 右键ADDC,选择“配置和启用路由和远程访问”功能

  • 在开启的“安装向导”界面,点击下一步

  • 选择“自定义配置”

  • 勾选“LAN路由”,将ADDC互联的四个虚拟机端口组网络三层打通,实现跨网段的通信

  • 完成安装向导后,服务器将自动完成路由服务的创建

  • 在弹出的“路由和远程访问启动服务”对话框中,选择“启动服务”

  • 等待路由服务正常启动

  • 点击完成,退出安装向导

  • 路由和远程访问管理器的IPv4界面的“常规”标签页下,可以看到几个不同网段之间已经实现了三层互通

  • 默认情况下,由于Windows10操作系统是无法与172.20.10.0/24等新增加的三个虚拟机端口组网络互通的;我们通过Windows命令行,添加三条静态路由(在SDDC的开篇文章中,我们并没有为172.20.9.150定义默认网关):

    > route add 172.20.10.0 mask 255.255.255.0 172.20.9.1

    > route add 172.20.11.0 mask 255.255.255.0 172.20.9.1

    > route add 172.20.12.0 mask 255.255.255.0 172.20.9.1

  • 在完成静态路由的添加后,Windows10(172.20.9.150)可以和其他网络三层互通

  • SSH访问V587-ESXI-01操作系统命令行

  • 确认迷你SDDC环境内部已经实现了多网段之间的三层路由互通

还记得我们在配置V587-ESXI-01基本网络设置的时候,定义了DNS服务器为172.20.9.1么?

现在通过命令行验证DNS服务和三层路由是否都正常运行

  • 测试ESXI解析addc.eccomat.local

 

明天我们将创建一台vCenter用于迷你SDDC环境内软件定义的计算、网络和存储的一站式管理;并且向大家演示如何利用vCenter实现ESXI的自动化部署。在Auto Deploy章节,需要有一台DHCP服务器,为相关ESXI分配网络地址。

 

主题:迷你SDDC环境搭建

任务8:部署DHCP服务器角色

 

接下来的时间,我将演示如何部署一台DHCP服务器角色:

  • 运行“添加角色”向导

  • 选择添加“DHCP服务器”角色

  • 在所有三层网络中,只需要为172.20.10.0/24,即MGMT网络启用DHCP动态地址分配

  • 指定DNS服务器地址和域名

  • 选择“此网络上的应用程序不需要WINS”

  • 为172.20.10.0/24设置DHCP自动分配IP地址的资源池

    在Auto Deploy环节,我们将用到2个172.20.10.0/24的地址

  • 不需要添加其他的DHCP作用域

  • 不开启DHCPv6无状态模式

  • 使用域管理员eccomat\administrator授权ADDC DHCP服务器

  • 确认各项参数设置无误,点击安装,开始DHCP服务器角色的部署进程

  • 等待DHCP服务器角色安装完成

  • 管理员可以将管理工具-DHCP添加到桌面,便于后期管理包括作用域、地址租用等功能

  • 在Auto Deploy章节,我们将完成DHCP作用域设置

 

完成ADDC的所有角色部署后,现在的迷你SDDC环境拓扑有了不小的变化,其实V587-ESXI-01这台微型计算机就好像是一个容器,把一个完整的数据中心囊括其中:

  • V587-ESXI-01:数据中心边界,内含计算资源、存储资源、网络资源

  • External网络:模拟数据中心到Internet出口

  • MGMT网络:数据中心内设备的管理网络,包括ESXI管理地址、vCenter和NSX Manager管理地址等

  • VTEP网络:Overlay网络,用于传输封装的VXLAN(NSX-V)或者Geneve(NSX-T)数据包

  • PHYSICAL网络:生产网络,相当于企业内网,模拟数据中心内部网络环境

  • ADDC虚拟机:模拟一台核心网关,用于路由上述所有的三层网络;模拟四台服务器,包括域控制器、DNS服务器、NTP服务器和DHCP服务器

在后续的文章中,我们将正式开启包括vCenter、vSAN和NSX等一系列VMware SDDC基础架构层产品的安装、部署和配置演示。在明天的讨论中,我们首先部署基础架构层的核心-VMware vCenter。

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值