开源云计算:部署、应用、运维
王薇薇,康楠,张雪松,等
基础篇
2023-02-06 20:31
云计算的基本原理是:通过使计算分布在大量的分布式计算机上,而非本地计算机或特定的远程服务器中,使企业数据中心的运行与互联网具有更高的耦合度,使企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。这是一种革命性的变革,它意味着计算能力也可以作为一种商品进行流通,就像水、电、煤气一样,打开即用,关闭即止,取用方便,费用低廉。最大的不同在于,它是通过互联网进行传输的。
2023-02-06 20:31
云计算是一种新兴的商业计算模型,它利用高速互联网的传输能力,将数据的处理过程从个人计算机或服务器转移到一个大型的计算中心,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络、服务器、存储、应用软件、服务),并将计算能力、存储能力当作服务来提供,就如同电力、自来水一样按使用量进行计费。
2023-02-06 20:33
云计算的基本原理是:通过使计算分布在大量的分布式计算机上,而非本地计算机或特定的远程服务器中,使企业数据中心的运行与互联网具有更高的耦合度,使企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。这是一种革命性的变革,它意味着计算能力也可以作为一种商品进行流通,就像水、电、煤气一样,打开即用,关闭即止,取用方便,费用低廉。最大的不同在于,它是通过互联网进行传输的。
2023-02-06 20:34
1)超大规模:“云”具有相当的规模,企业私有云一般拥有成百上千台服务器。“云”能赋予用户前所未有的计算能力。
2)虚拟化:云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”,而不是固定的有形的实体。应用在“云”中某处运行,但实际上用户无需了解、也不用担心应用运行的具体位置。
3)高可靠性:“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性。
2023-02-06 20:34
4)通用性:云计算不针对特定的应用,在“云”的支撑下可以构造出千变万化的应用,同一个“云”可以同时支撑不同的应用运行。
5)高可扩展性:“云”的规模可以动态伸缩,满足应用和用户规模增长的需要。
6)按需服务:“云”是一个庞大的资源池,按需购买,按用量计费。
7)极其廉价:“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本,“云”的通用性使资源的利用率较之传统系统大幅提升,因此用户可以充分享受“云”的低成本优势。
2023-02-06 20:58
1)开源云计算现状
云计算发展到今天,已经成为企业IT基础设施的主流选择;以Docker为代表的Container技术,也推动着云计算的发展。云计算已经从概念走向实际应用,促进着信息化、工业化的融合进程。在企业IT“云”化的过程中,开源技术正在成为未来的重要选择。开源云计算带来的好处很多,其中最吸引人的就是可以帮助企业降低成本。另外,开源模式消除了供应商的限制和壁垒,并且可让技术变得更加协作化,合作者会不断更新开源软件,使该技术得到持续的完善和发展。
(2)开源云计算的优、缺点
开源云计算的系统、产品与服务正不断地创新推出。目前拥有最多传统IT巨头支持的云架构开源项目OpenStack在国内外都受到了普遍关注。在OpenStack基金会发布的白皮书中显示,OpenStack在实际生产环境的部署已得到大幅提升,并且在传统行业的渗透已经呈现规模化趋势,在制造、能源、零售、医疗、交通、保险、媒体等行业发展迅速。开源云也同样存在着明显的缺点,时下流行的开源云计算应用,都存在着技术成熟度欠缺、缺乏完整性、安全成熟度较低等问题。
(3)开源云计算展望
开源云计算模式确实为企业和开发者部署云环境创造了条件,但是,站在用户的角度看,特别是不具备软件开发、运维能力的传统企业,大规模采用开源云项目仍然存在一定的风险。另外,开源的开放所带来的一大弊端就是安全问题,这也是不容忽视的。
2023-02-12 17:15
(1)基础通信资源云服务
基础通信服务商已经在IDC(Internet Data Center,互联网数据中心)领域和终端软件领域具有得天独厚的优势,依托IDC云平台支撑,通过与平台提供商合作或独立建设PaaS云服务平台,为开发、测试提供应用环境。
商业模式:采取“三朵云”的发展思路,构建“IT支撑云”,满足自身在经营分析、资料备份等方面的巨大云计算需求,降低IT经营成本;构建“业务云”,实现已有电信业务的云化,支撑自身的电信业务和多媒体业务发展;开发基础设施资源,提供“公众服务云”,构建IaaS、PaaS、SaaS平台,为企业和个人客户提供云服务。
(2)软件资源云服务
软硬件厂商以及云应用服务提供商合作提供面向企业的服务或企业个人的通用服务,使用户享受到相应的硬件、软件和维护服务,享用软件的使用权和升级服务。
商业模式:以产品销售作为稳定的盈利来源向客户提供基于IaaS、PaaS、SaaS三个层面的云计算整体解决方案,尝试以BOC模式提供运营托管服务。
(3)互联网资源云服务互联网企业基于多元化的互联网业务,致力于创造便捷的沟通和交易渠道。互联网企业拥有大量服务器资源,确保数据安全。为了节能降耗、降低成本,互联网企业自身对云计算技术具有强烈的需求,因此互联网企业云业务的发展具有必然性。而引导用户习惯性行为的特点就要求互联网企业云服务要处于研发的最前沿。
商业模式:基于互联网企业云计算平台,联合合作伙伴整合更多一站式服务,推动传统软件销售向软件服务业务转型,帮助合作伙伴从传统模式转向云计算模式。针对客户和终端用户需求开发针对性云服务产品。
(4)存储资源云服务
云存储将大量不同类型的存储设备通过软件集合起来协同工作,共同对外提供数据存储服务。云存储不仅仅是一个硬件,而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的系统。
商业模式:以免费模式、免费+收费结合模式、附加服务模式为云存储商业模式的主流模式,通过这三种模式向用户提供云服务存储业务。而业务模式的趋同目前已成云存储服务亟待解决的重要问题之一。
(5)即时通信云服务
即时通信软件发展至今,在互联网中已经发挥着重要的作用,使人们的交流更加密切、方便。使用者可以通过安装了即时通信软件的终端机进行两人或多人之间的实时沟通,交流内容包括文字、界面、语音、视频及文件互发等。
商业模式:分为免费和收费两种模式,收费模式是目前即时通信云服务的主要方式,而免费模式则是大势所趋。
(6)安全云服务
安全云服务是网络时代信息安全的最新体现,它融合了并行处理、网络计算、
未知病毒行为判断等新兴技术和概念,通过网状的大量客户端对网络中软件行为的异常监测,获取互联网中木马、恶意程序的最新信息,传送到服务器端进行自动分析和处理,再把病毒和木马的解决方案分发到每一个客户端。
商业模式:云安全防病毒模式中免费的网络应用和终端客户就是庞大的防病毒网络:通过“免费”的商业模式吸引用户,在提供个性化的服务、功能和诸多应用后实现公司的盈利;防病毒应用可与网络建设运营商、网络应用提供商等加强合作,建立可持续竞争优势联盟,可以最大程度地降低病毒、木马、流氓软件等网络威胁对信息安全造成的危害。
2023-02-12 17:18
(1)云计算产业链分析
目前云计算产业链主要有十大关键环节:硬件设备制造商、云平台开发商、系统集成商、云应用开发商、云资源服务提供商、云平台服务提供商、云应用服务提供商、网络运营商、终端供应商、最终用户。其相互关系结构如图1-1所示。
(2)云计算三大产业
云计算第一产业即云计算核心资源的提供者,包含云计算核心软件系统的提供商和云计算的硬件设备提供商;任何基于云计算平台的应用都可以称为第二产业,比如数据库应用、视频应用等;云计算第三产业负责的是云计算延伸出来的大量非技术性产业,如云计算技术培训、品牌策划等相关的云计算普及和传播,还有其他对云计算产业链的增值性的服务。三个产业层次环环相扣,相互支撑,最后形成完整的云计算产业链。
(3)我国云计算的产业生态链构成
我国云计算产业生态链的构建正在进行中,在政府的监管下,云计算服务提供商与软硬件、网络基础设施服务商以及云计算咨询规划、交付、运维、集成服务商、终端设备厂商等一同构成了云计算的产业生态链,为政府、企业和个人用户提供服务,如图1-2所示。
2023-02-12 19:02
大数据又称巨量资料,指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。在以云计算为代表的技术创新下,看起来很难收集和使用的数据开始容易地被利用起来。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理,通过“加工”实现数据的“增值”。
2023-02-12 19:02
云计算作为计算资源的底层,支撑着上层的大数据处理,而大数据的发展趋势是向实时交互式的查询效率和分析能力演进,是信息技术上的一次革命性的创新。从技术上来看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分,大数据无法用单台计算机进行处理,必须采用分布式的架构,其特色在于对海量数据进行分布式数据挖掘,依托的是云计算分布式处理、分布式数据库和云存储、虚拟化等技术。
2023-02-12 20:36
人工智能(Artificial Intelligence,AI),是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。随着人工智能和机器学习系统需求的增加,需要更多的空间存储运行它们所需的大量数据。
2023-02-12 20:37
云计算平台不仅是人工智能的基础服务平台,也是人工智能的业务能力集成到众多应用领域中的便捷途径;人工智能不仅丰富了云计算服务的特性,更让云计算服务更加符合业务场景的需求,并进一步解放了人力资源,人工智能技术“端云一体”态势初现。从前,很多对神经网络的训练和推理都是在云端或者基于服务器完成的。随着移动处理器性能不断提升,连接技术不断演进所带来的完整可靠性,很多人工智能推理工作,如模式匹配、建模检测、分类、识别、检测等逐渐从云端转移到了手机侧。
2023-02-12 20:37
工业4.0的基础思想是“互联网+制造”,由于制造业的数字化,生产方式正在发生重大转变,工业4.0代表制造业的第四次革命。我国的工业4.0就是“中国制造2025”。在现代智能机器人、传感器、数据存储和计算能力实现突破的条件下,通过工业互联网将供应链、生产过程和仓储物流智能连接,从而实现智能生产的“四化”:供应和仓储成本较小化,生产过程全自动化,需求响应速度较大化和产品个性化。工业4.0的终极目的是使制造业脱离劳动力禀赋的桎梏,将全流程成本降到较低,从而实现制造业竞争力的较大化。
工业大数据的核心是机器数据,包括企业的生产数据、研发数据、客户数据等。一方面机器数据量非常大,机器的数据采集可能是每秒钟采集一次,有些甚至是毫秒级;另一方面工业大数据要求准确性很高,工业大数据需要精确到99.9%,一旦出现问题就会影响机器的运营。而云计算在算力上的优势,是保障工业4.0发展的坚实基础。
2023-02-12 20:42
公有云通常指第三方提供商为用户提供的能够使用的云,公有云一般可通过互联网使用,通常是免费或价格低廉的,公有云的核心属性是共享资源服务。公有云的优势是成本低和扩展性好,作为一个支撑平台,能够整合上游的服务(如增值业务,广告)提供者和下游最终用户,打造新的价值链和生态系统。它使客户能够访问和共享基本的计算机基础设施,其中包括硬件、存储和带宽等资源。公有云可认为是目前世界最大规模的高等级软件定义数据中心,在私有云中鲜见的大规模分布式存储、硬件、SDN等技术在公有云中均得到了广泛的运用。
2023-02-12 20:42
私有云是为一个客户单独使用而构建的,因而提供对数据、安全性和服务质量的最有效控制。用户拥有基础设施,并可以控制在此基础设施上部署应用程序的方式。私有云可部署在企业数据中心的防火墙内,也可以将它们部署在一个安全的主机托管场所,私有云的核心属性是专有资源池。私有云的特点是数据安全性高、服务质量保障完善和较高的资源使用率。
2023-02-12 20:42
混合云是指同时部署公有云和私有云的云计算部署模式。私有云主要是面向企业用户,出于安全考虑,企业更愿意将数据存放在私有云中,但是同时又希望可以获得公有云的计算资源,在这种情况下混合云被越来越多地采用,它将公有云和私有云进行混合和匹配,以获得最佳的效果,达到了既省钱又安全的目的。
2023-02-12 20:43
IaaS(基础设施即服务)
IaaS交付给用户的是基本的基础设施资源。用户无需购买、维护硬件设备和相关系统软件,就可以直接在该层上构建自己的平台和应用。基础设施向用户提供虚拟化的计算资源、存储资源、网络资源和安全防护等。这些资源能够根据用户的需求动态地分配。支撑该服务的技术体系主要包括虚拟化技术和相关资源动态管理与调度技术,代表性的服务商有亚马逊、IBM、阿里等。IaaS的架构有下述几部分:
1)数据中心基础设施资源:数据中心是承载云计算服务的重要基础设施,是云计算体系的基础,云计算各要素建设在数据中心之上。云计算技术体制主要关注绿色数据中心的机房建筑节能、机房规划与布局、机房专用空调系统节能、供电系统节能、节能管理和能耗指标。
2)IT&CT(Information Technology and Communication Technology,信息技术和通信技术,也写作ICT)基础设施资源:包括计算资源、存储资源、网络资源。在云计算技术体系架构中,IT&CT基础设施资源不只是物理设备,更多的是指使用虚拟化技术后的逻辑资源,可以通过标准的基础设施资源提供接口,对外提供IaaS服务。
3)计算资源:计算资源层通过服务器虚拟化技术,把单台物理服务器虚拟成多台逻辑服务器,实现服务器硬件设备的抽象和管理,供多个用户同时使用。这里的服务器主要包括X86服务器和小型机。服务器虚拟化具有多实例、隔离性、封装性和高性能等特征。
4)存储资源:存储资源层通过存储虚拟化技术,为物理的存储设备提供一个抽象的逻辑视图,用户可以通过这个视图中的统一逻辑接口来访问被整合的存储资源,主要包括存储区域网络、网络附加存储、直接文件存储和本地存储资源。
5)网络资源:网络资源层通过网络虚拟化技术,将网络的硬件和软件资源(如数据中心云网络的路由器、交换机等)整合,向用户提供虚拟网络连接。
1.4.2 PaaS(平台即服务)
PaaS是为用户提供应用软件的开发、测试、部署和运行环境的服务。所谓环境,是指支撑使用特定开发工具开发的,应用能够在其上有效运行的软件支撑服务系统平台。支撑该服务的技术体系主要是分布式系统,代表性的服务商有Salesforce、谷歌、微软等。
PaaS把服务器平台作为一种服务提供的商业模式,通过网络进行程序提供的服务称之为SaaS,云计算时代相应的服务器平台或者开发环境作为服务进行提供就成为了PaaS。
主要服务包括:数据库资源、中间件资源、环境组件资源、业务/能力组件资源、平台资源提供接口。
2023-02-12 20:44
1.4.2 PaaS(平台即服务)
PaaS是为用户提供应用软件的开发、测试、部署和运行环境的服务。所谓环境,是指支撑使用特定开发工具开发的,应用能够在其上有效运行的软件支撑服务系统平台。支撑该服务的技术体系主要是分布式系统,代表性的服务商有Salesforce、谷歌、微软等。
PaaS把服务器平台作为一种服务提供的商业模式,通过网络进行程序提供的服务称之为SaaS,云计算时代相应的服务器平台或者开发环境作为服务进行提供就成为了Pa...
2023-02-12 20:46
SaaS是一种以互联网为载体,以浏览器为交互方式,把服务器端的程序软件传给远程用户来提供软件服务的应用模式。在服务器端,SaaS提供为用户搭建信息化所需要的所有网络基础设施及软硬件运作平台,负责所有前期的实施、后期的维护等一系列工作;客户只需要根据自己的需要,向SaaS提供商租赁软件服务,无需购买软硬件、建设机房、招聘IT人员,代表性的服务商有谷歌、Salesforce、Office Web Apps等。
2023-02-12 20:48
云计算服务的安全性由云服务商和客户共同保障。在某些情况下,云服务商还要依靠其他组织提供计算资源和服务,其他组织也应承担信息安全责任。因此,云计算安全措施的实施主体有多个,各类主体的安全责任因不同的云计算服务模式而异。
2023-02-12 20:48
1)网络域:包括网络统一接入、网络安全传输、网络流量监控等物理网络安全内容。
2)用户域:包括云环境下用户所使用的终端安全等内容。
3)云服务域:包括IaaS、PaaS、SaaS各服务模式的安全服务内容以及数据安全。
4)云监管域:对上述三个安全域的运行情况进行监控和管理,包括事件管理、补丁管理、灾难恢复等内容。
2023-02-13 00:17
OpenStack是一个开源的云平台架构,一方面与各个物理服务器上的主机虚拟化管理软件Hypervisor进行交互,实现对集群的物理服务器进行管理和控制;另一方面为用户开通满足配置的云主机。它是通过一系列的相关服务组件形成了一个IaaS层的云平台搭建方案,每个组件都提供了相应的API,从而实现了各个组件的集成。OpenStack官方组件关系图如图1-4所示。
2023-02-13 00:19
Swift
Swift是OpenStack提供的一种分布式的持续虚拟对象存储,它类似于Amazon Web Service的S3简单存储服务。Swift具有跨节点百级对象存储的能力。Swift内建冗余和失效备援管理,也能处理归档和媒体流,特别是对大数据(千兆字节)和大容量(多对象数量)的测度非常高效。
Swift具有海量对象存储、大文件(对象)存储、数据冗余管理、归档能力(处理大数据集)、为虚拟机和云应用提供数据容器、处理流媒体、对象安全存储、备份与归档和良好的可伸缩性等功能特点。
Swift采用完全对称、面向资源的分布式存储架构设计,所有组件都可扩展,避免因单点失效而扩散并影响整个系统运转;通信方式采用非阻塞式I/O模式,提高了系统吞吐和响应能力,如图1-6所示。
2023-02-13 00:19
Cinder
Cinder是OpenStack块存储服务,用于为Nova虚拟机、Ironic裸机主机、容器等提供卷。
Cinder功能特点:
1)基于组件体系结构:快速添加新的行为;
2)高度可用:扩展到非常严重的工作负载;
3)容错:隔离进程避免级联失败;
4)可恢复的:故障应该易于诊断、调试和纠正;
5)开放标准:成为社区驱动API的参考实现。
2023-02-13 00:22
AMQP的全称为Advanced Message Queuing Protocol,即高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。消息中间件主要用于组件之间的解耦,消息的发送者无需知道消息使用者的存在,反之亦然。
AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全
2023-02-13 00:22
(3)RabbitMQ的概念
RabbitMQ是一个流行的开源消息队列系统,属于AMQP标准的一个实现,用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。
(4)RabbitMQ的特点
1)使用Erlang编写;
2)支持持久化;
3)支持HA;
4)提供C#、Erlang、Java、Perl、Python、Ruby等的客户开发端。
2023-02-13 00:23
1.开源云发展方向
传统的虚拟化平台只能提供基本运行的资源,云端强大的服务能力并没有完全得到释放。开源云理念的出现在很大程度上改变了这种现状。开源云是一系列云计算技术体系和企业管理方法的集合,既包含了实现应用开源云化的方法论,也包含了落地实践的关键技术。开源云专为云计算模型而开发,用户可快速将这些应用构建和部署到与硬件解耦的平台上,为企业提供更高的敏捷性、弹性和云间的可移植性。
2023-02-13 00:23
以容器、微服务、DevOps为代表的开源云技术,能够构建容错性好、易于管理和便于监测的松耦合系统,让应用随时处于待发布状态。使用容器技术将微服务及其所需的所有配置、依赖关系和环境变量打包成容器镜像,轻松移植到全新的服务器节点上,而无需重新配置环境,完美解决环境一致性问题。这使得容器成为部署微服务的最理想工具。通过松耦合的微服务架构,可以独立地对每个服务进行升级、部署、扩展和重新启动等流程,从而实现频繁更新而不会对最终用户产生任何影响。相比传统的单体架构,微服务架构具有降低系统复杂度、独立部署、独立扩展、跨语言编程的特点。
2023-02-13 00:25
开源云技术正在加速重构IT开发和运维模式。以容器技术为核心的开源云技术贯穿底层载体到应用,衍生出越来越高级的计算抽象,计算的颗粒度越来越小,应用对基础设施的依赖程度逐渐降低,且更加聚焦业务逻辑。容器提供了内部自治的编译环境,打包进行统一输出,为单体架构的应用(如微服务拆分)提供了途径,也为服务向函数化封装提供了可能。容器技术实现了封装的细粒度变化,微服务实现了应用架构的细粒度变化,随着无服务器架构技术的应用推广,计算的粒度可细化至函数级,这也使得函数与服务的搭配会更加灵活。在未来,通过函数的封装与编排将实现应用的开发部署,开源云技术会越来越靠近应用内部,粒度越来越小,使用也越来越灵活。
2023-02-13 00:25
随着云计算业务的持续发展,多云和混合云将是企业保障业务的基本设施架构企业为了更好地拓展业务,将逐步朝着多云混合云应用的方向发展。因此,多云管理平台业务便应运而生,并且迅速发展,在云计算的未来发展进程中,多云混合云管理必将成为人们持续关注的焦点。多云管理平台指的是可以同时管理包含多个公有云、多个私有云、混合云以及各种异构资源的统一管理平台,即用户同时使用多家云服务商的产品,可以实现在一个统一的平台上进行管理配置,并监控产品的生命周期全流程,实现统一管理,无需多平台切换管理,节省用户操作和使用成本,帮助用户可以更加快捷地管理不同云服务商的资源,以利于业务的开展。多云架构可提升企业业务应用的灵活性,而且能够使业务的连续性和经营成本得到优化。企业通过多云构建灵活而且敏捷的融合云基础设施,既可以获得更高的可用性及更低的成本,又可以实现更好的业务匹配度,帮助企业的业务获得更强的竞争力。
2023-02-13 00:26
1.开源云虚拟化技术向软硬协同方向发展
随着服务器等硬件技术和相关软件技术的进步、软件应用环境的逐步发展成熟以及应用要求不断提高,虚拟化由于具有提高资源利用率、节能环保、可进行大规模数据整合等特点成为一项具有战略意义的新技术。随着虚拟化技术的发展,软硬协同的虚拟化将加快发展。在这方面,内存的虚拟化已初显端倪。
2023-02-13 00:26
网络虚拟化发展迅速。网络虚拟化可以高效地利用网络资源,具有节省成本、简化网络运维和管理、提升网络可靠性等优点。VMware和思科公司在网络虚拟化领域推出了VxLAN(虚拟可扩展局域网),VxLAN已获得多个行业领先厂商的支持。
2023-02-13 00:26
2.开源云分布式计算技术不断完善和提升
资源调度管理被认为是云计算的核心,因为云计算不仅是将资源集中,更重要的是资源的合理调度、运营、分配、管理。云计算数据中心的突出特点,是具备大量的基础软硬件资源,实现了基础资源的规模化。合理有效调度管理这些资源,提高这些资源的利用率,降低单位资源的成本,是云计算平台提供商面临的难点和重点。
2023-02-13 00:26
3.大规模分布式存储技术进入创新高峰期
在云计算环境下,存储技术将主要朝着从安全性、便携性及数据访问等方向发展。分布存储的目标是利用多台服务器的存储资源来满足单台服务器不能满足的存储需求,它要求存储资源能够被抽象表示和统一管理,并且能够保证数据读写操作的安全性、可靠性、性能等各方面要求。为保证高可靠性和经济性,云计算采用分布式存储的方式来存储数据,采用冗余存储的方式来保证存储数据的可靠性,以高可靠软件来弥补硬件的不可靠,从而提供廉价可靠的海量分布式存储和计算系统。
除了大规模分布式存储技术,P2P存储、数据网格、智能海量存储系统等方面也是海量存储发展的趋势体现。
2023-02-13 00:26
4.开源云安全与隐私将获得更多关注
云计算作为一种新的应用模式,在形态上与传统互联网相比发生了一些变化,势必带来新的安全问题,例如数据高度集中使数据泄漏风险激增、多客户端访问增加了数据被截获的风险等。云安全技术是保障云计算服务安全性的有效手段,它要解决包括云基础设施安全、数据安全、认证和访问管理安全以及审计合规性等诸多问题。云计算本身的安全仍然要依赖于传统信息安全领域的主要技术。
2023-02-13 00:26
5.开源云细化服务质量,提升商业价值
用户需要能够让他们高枕无忧的服务品质议,细化服务品质是必然趋势。云计算对计算、存储和网络的资源池化,使得对底层资源的管理越来越复杂,越来越重要,基于云计算的高效工作负载监控要在性能发生问题之前就提前发现苗头,从而防患于未然,实时地了解云计算运行详细信息将有助于交付一个更强大的云计算使用体验,也是未来发展的方向。
2023-02-13 00:27
1.6.3 新挑战和新机遇
开源云十大新挑战:安全性挑战、云管理费用成本偏高、资源/专业知识缺乏、云资源池的治理和控制、数据合规性、多云环境的管理、业务/数据迁移、供应商垄断、技术成熟度、企业内部资源整合。
开源云面临的机遇:随着云技术的发展,越来越多的数据将在云中处理,企业正在使用它来实现更高的可扩展性、更高的性能。构建、部署和安全云的技能仍将是至关重要的。而且由于市场正在接受多种云模式和多种提供商,云计算相关工作者需要多种技能,涵盖不同的平台和服务,以获得持续的收益和竞争优势。
第2章 云计算标准与新技术
2023-02-13 00:28
“信息技术 云计算”系列标准涵盖范围广,包含从基础名词的定义到技术层次的接口规范,主要的标准信息如下:
《信息技术 云计算 概览与词汇》(GB/T 32400—2015)发布于2015年12月,正式实施于2017年1月1日。主要规范了云计算基本定义、概念以及相关专业词汇,是现行最基础的标准。《信息技术 云计算 参考架构》(GB/T 32399—2015)发布于2015年12月,正式实施于2017年1月1日。主要规范了云计算平台以及平台建设的参考架构,重点从用户视图、功能视图讲解云架构以及两种视图之间的关系。
《信息技术 云计算 平台即服务(PaaS)参考架构》(GB/T 35301—2017)发布于2017年12月,正式实施于2017年12月29日。主要规范了云计算平台PaaS层的参考架构,重点从用户视图、功能视图讲解云架构以及两种视图之间的关系。
《信息技术 云计算 虚拟机管理通用要求》(GB/T 35293—2017)发布于2017年12月,正式实施于2018年7月1日。主要规范了:
1)虚拟机基本管理:兼容、隔离、封装以及硬件独立性;
2)虚拟机生命周期管理,包括虚拟机基本操作、资源池基本操作、模板操作、镜像操作和存储管理;
3)虚拟机配置与调度管理:包含配置管理和调度管理两个方案;
4)虚拟机监控与告警管理:包括虚拟机监控管理、告警管理以及系统日志管理;
5)虚拟机可用性和可靠性:包含可用性管理要求和可靠性管理要求;
6)虚拟机安全性管理要求:包含权限控制、访问控制和数据保护。
2023-02-13 00:29
《信息技术 云计算 平台即服务(PaaS)应用程序管理要求》(GB/T 36327—2018)发布于2018年6月,正式实施于2019年1月1日。主要提出来PaaS应用程序的管理流程,并且规定了这些程序的一般要求和管理要求,主要内容:
1)一般要求:PaaS客户管理员和PaaS用户的定义、分工和能力要求;2)应用程序管理流程:包含开发、部署、运行和迁移4个阶段;
3)应用程序管理要求:包含开发、部署、管理、获取、迁移各个阶段的详细规范要求。
2023-02-13 00:29
《信息技术 云计算 云服务运营通用要求》(GB/T 36326—2018)发布于2018年6月,正式实施于2019年1月1日。该标准给出了云服务总体描述,规定了相关云服务提供商在人员、流程、技术及资源方面应具备的条件和能力。
云服务分为IaaS、PaaS、SaaS三种模式,三种模式具备层次管理。外部服务特征包含按需服务、弹性、可计量、网络依存性四种;内部服务特征包含:
1)以人员管理、岗位结构和人员技能构成的人员因素;
2)以运营管理层、运维操作构成的流程要素;
3)以资源池化技术、计量技术、监控技术、调度技术和多租户技术构成的技术要求;
4)以基础设施资源和支撑环境构成的资源要素;
5)以安全保障技术、安全管理和安全性要求构成安全相关特征。
2023-02-13 00:29
《信息技术 云计算 云服务级别协议基本要求》(GB/T 36325—2018)发布于2018年6月,正式实施于2019年1月1日。该标准给出了云服务级别协议的构成要素,明确了协议管理要求,并提供了协议中的常用指标。
CLSA(CloudService Level Agreement,云服务级别协议)明确了云服务相关的范围、内容、服务级别等。CLS的管理包括CSLA框架的设计、CLSA的签订、CLSA的执行、CLSA的评审和CLSA的变更。
CLSA的要素包含必备要素(云服务客户、云服务提供者、服务内容、服务期限、服务时间、服务级别等级、SLO/SQO、服务交付物、责任和义务、违约责任、保密要求)和可选要素(第三方、服务优先级、变更管理流程、服务交付相关流程、资源条件、争议解决机制、服务考核要求、服务费用和支付、知识产权、通知和送达)。
CSLA的管理流程包含:设计流程、签署流程、执行流程、评审流程、变更流程。
《信息技术 云计算 云服务级别协议基本要求》(GB/T 36325—2018)发布于2018年6月,正式实施于2019年1月1日。该标准给出了云服务级别协议的构成要素,明确了协议管理要求,并提供了协议中的常用指标。
CLSA(CloudService Level Agreement,云服务级别协议)明确了云服务相关的范围、内容、服务级别等。CLS的管理包括CSLA框架的设计、CLSA的签订、CLSA的执行、CLSA的评审和CLSA的变更。
CLSA的要素包含必备要素(云服务客户、云服务提供者、服务内容、服务期限、服务时间、服务级别等级、SLO/SQO、服务交付物、责任和义务、违约责任、保密要求)和可选要素(第三方、服务优先级、变更管理流程、服务交付相关流程、资源条件、争议解决机制、服务考核要求、服务费用和支付、知识产权、通知和送达)。
CSLA的管理流程包含:设计流程、签署流程、执行流程、评审流程、变更流程。
2023-02-13 00:29
《信息安全技术 云计算服务安全能力要求》(GB/T 31168—2014)发布于2014年9月,正式实施于2015年4月1日。该标准面向服务商提出了为政府部门提供服务时应具备的安全能力:
1)明确了云环境的安全责任主体,包括IaaS、PaaS、SaaS三种模型下的安全分工界面;
2)提出了安全措施的作用范围,包括针对于整个平台的通用安全措施、针对于特定应用的专用安全措施和混合使用的混合安全措施;
3)将安全要求划分为10类:系统开发与供应链安全、系统与通信保护、访问控制、配置管理、维护、应急响应与灾备、审计、风险评估与持续监控、安全组织与人员和物理与环境保护,并针对每一类安全要求提出了详细的细项分类和分级要求标准;
4)明确了云服务商的安全计划标准。至少包括针对每个应用或服务的系统拓扑、系统运营单位、与外部系统的互连情况、云服务模式和部署模式、系统软硬件清单和数据流。
2023-02-13 00:29
《信息安全技术 云计算服务安全指南》(GB/T 31167—2014)发布于2014年9月,正式实施于2015年4月1日。该标准面向政府部门,提出了实验云计算服务时的信息安全管理和技术要求:
1)明确了云计算的概念、优势、安全风险和风险管理措施;
2)为云服务商的选择和运行监管提供了参考标准。
2023-02-13 00:30
《信息安全技术 云计算服务安全能力评估方法》(GB/T 34942—2017)发布于2017年11月,正式实施于2018年5月1日。该标准适用于第三方评估机构,规定了云计算安全服务评估的原则、实施过程以及针对各项具体安全要求进行评估的方法,也可以供云服务商自评参考,主要包含以下内容:
1)评估原则:客观公正、可重用、可重复和可再现、灵活、最小影响及保密;
2)评估内容:主要对系统开发与供应链安全、系统与通信保护、访问控制、配置管理、维护、应急响应与灾备、审计、风险评估与持续监控、安全组织与人员和物理与环境保护等安全措施实施进行评估,并提出了详细的评估方法,基本评估办法为访谈、检查和测试;
3)评估依据:对评估结果起到佐证作用的任何实体,包括但不限于各种文档、图片、录像、录音、实物等,所有评估结果都必须有相对应的证据支持;
4)评估过程:主要包括评估准备、方案编制、现场实施和分析评估四个阶段。
2023-02-13 00:30
《信息安全技术 云计算安全参考架构》(GB/T 35279—2017)发布于2017年12月,正式实施于2018年7月1日。该标准适用于所有云计算参与者在进行云计算系统规划时对安全的评估和设计,主要包含以下内容:
1)解释了云计算的参与角色,包括云服务商、云服务客户、云审计者、云代理者和云基础网络运营者并明确了他们各自的安全职责;
2)提出了云计算的安全挑战,包括宽带网络接入、客户对数据中心的可视性及控制力度、动态的系统边界、多租户、数据保密性、自动部署与弹性扩展;
3)提供了云计算安全参考架构以及云计算参与角色在其中的定位。
2023-02-13 00:30
《信息安全技术 云计算服务运行监管框架》(GB/T 37972—2019)发布于2019年8月,正式实施于2020年3月1日。该标准确定了云计算服务运行监管框架,规定了安全控制措施监管、变更管理监管和应急响应的内容及监督活动,适用于对政府部门、重点行业和其他事业单位的云计算服务的运行监管。
2023-02-13 00:30
《信息安全技术 政府网站云计算服务安全指南》(GB/T 38249—2019)发布于2019年10月,正式实施于2020年5月1日。该标准给出了政府网站采用云计算服务中各种参与角色的安全职责,适用于指导采用云计算服务的政府机构的网站安全保障建设。主要内容包括规划准备、部署迁移和运行管理三部分的安全规划和实施标准。
《基于云计算的电子政务公共平台总体规范》《基于云计算的电子政务公共平台管理规范》《基于云计算的电子政务公共平台技术规范》和《基于云计算的电子政务公共平台安全规范》系列标准由国家质量监督检验检疫总局、国家标准化管理委员发布,由工业和信息化部(通信)归口管理。该系列标准适用于电子政务公共平台,并详细规范了服务质量要求、系统架构、功能性能、数据管理、信息资源安全等领域的实施标准,标准内容见表2-2。
2023-02-13 00:30
针对云计算平台的性能测试,是基于云平台系统的物理基础,并遵循系统的核心工作流程在物理平台上展开并发访问,从而详细评估云平台的性能标准的测试。
1)CPU使用率:CPU就绪时间(RDY)是云计算平台主机性能的重要指标之一,该指标表示多个虚拟CPU(vCPU)访问物理CPU的等待时间。每个vCPU等待被调度时间的百分比(%RDY)在0%~10%区间时,系统可以正常工作,如果该指标超过10%,需要结合其他指标综合分析,采取调优措施来改善虚拟机的性能。
2)内存使用率:虚拟机消耗云平台主机物理内存量即为主机内存开销,主机内存状态(State)表示主机内存占用情况,当主机可用内存等于或少于6%,表示主机无法满足内存需求。至少要有10%的物理内存值,如果可用物理内存值一直很小,说明计算机总的内存可能不足,或某程序没有释放内存。活动内存指标、内存膨胀指标和内存交换指标都是标志内存性能的关键指标。
3)虚拟网络:网络性能监控一般检查网络数据包的大小、数据接收和数据传输的速度等。虚拟网络性能还需要考查同一虚拟网段内虚拟机之间的通信,跨虚拟网段的虚拟机之间的通信,以及虚拟机通过虚拟网关与外网之间的通信。
4)虚拟存储I/O:由于网络和存储设备与其他租户共享,性能比本地磁盘更加不稳定。一般使用单位时间内系统处理的I/O请求数量(IOPS)度量虚拟存储读写性能,I/O请求通常为读或写数据操作请求。随机读写频繁的应用,IOPS是关键衡量指标。
5)磁盘:一般通过磁盘读/写所用时间百分比(%DiskTime)计数器监控磁盘用于读写操作所占用的时间百分比,通过磁盘队列长度计数器监控等待进行磁盘访问的系统请求数量。
6)网络性能:网络带宽一般使用吞吐量来度量,表示在一次性能测试过程中网络上传输的数据量的总和。判断网络连接速度是否是瓶颈,可以用吞吐量指标值和目前网络的带宽进行比较。
2023-02-13 00:31
1.ISO/IEC 20000标准正式公布的两部分
ISO/IEC 20000-1:2018是服务管理系统需求——详细描述服务提供商计划、建立、实施、运营、监控、检查、维护和改进服务管理系统的需求,以提供给其客户一个可接受的服务品质。
ISO/IEC 20000-2:2019是服务管理实践规则——以指引和建议的方式描述第一部分中各个服务管理流程的最佳实践方法,主要内容是提供建立、实现、维护和持续改进服务管理体系的要求。服务管理体系支持服务生命周期的管理,包括规划、设计、转换、交付和改进服务,以满足协定的要求和为客户、用户、提供服务组织交付价值。
2.价值和意义过去,IT组织的管理大多把注意力放在IT系统的建设;而今,成功的IT组织逐渐将焦点转移到IT服务的管理,提升IT服务管理成为IT组织竞争力增强的关键因素。
构建符合ISO/IEC 20000标准要求的服务管理体系,不仅是IT组织对所提供IT服务优良品质的证明,也是很多IT组织向业务导向转型的一种方式。通过管理体系的导入,使得服务流程更加规范化、专业化,并在最适合的成本范围内,提供高品质的服务,以增加服务使用者的满意度,同时,提升IT组织的IT投资回报率。
2023-02-13 00:32
目前,全球范围内的云计算标准化工作已经启动,全世界已经有30多个标准化组织宣布加入云计算标准的制订行列,并且这个数字还在不断增加。这些标准化组织大致可分为3种类型:
1)以DMTF、OGF、SNIA等为代表的传统IT标准化组织或产业联盟,这些标准化组织中有一部分原来是专注于网格标准化的,现在转而进行云计算的标准化工作;
2)以CSA、OCC、CCIF等为代表的专门致力于进行云计算标准化的新兴标准化组织;
3)以ITU、ISO、IEEE、IETF为代表的传统电信或互联网领域的标准化组织。
2023-02-13 00:38
IT运维简单来说就是负责IT系统的运行维护工作,保障系统安全稳定运行,给用户提供有效的IT服务。IT系统范围很广,包括每个企业都用到的OA系统,以及邮件、差旅、考勤等管理环节;还有企业内部的进销存、客户关系管理、物流管理、计费管理系统等。有的系统用于辅助日常工作,有的系统直接就是生产系统。因此保障IT系统稳定运行的运维部门就显得尤为重要。
2023-02-13 00:38
IT运维主要包括以下八个方面的内容:
1)设备管理:对网络设备、服务器设备、存储硬件、操作设备系统运行状况进行监控和管理;
2)应用服务:对各种应用支持软件如数据库、中间件、群件以及各种通用或特定服务的监控和管理,如邮件系统、DNS(Domain Name System,域名系统)、Web等的监控和管理;
3)数据存储:对系统和业务数据进行统一存储、备份和恢复;
4)业务:包含对企业自身核心业务系统运行情况的监控和管理,对于业务的管理,主要关注该业务系统的CSF(Critical Success Factors,关键成功因素)和KPI(Key Performance Indicators,关键绩效指标);
5)目录内容:该部分主要对于企业需要统一发布或因人定制的内容管理和对公共信息的管理;
6)资源资产:管理企业中各IT系统的资源资产情况,这些资源资产可以是物理存在的,也可以是逻辑存在的,并能够与企业的财务部门进行数据交互;
7)信息安全:信息安全管理主要依据的是国际标准ISO 17799,该标准涵盖了信息安全管理的十大控制方面,36个控制目标和 127种控制方式,如企业安全组织方式、资产分类与控制、人员安全、物理与环境安全、通信与运营安全、访问控制、业务连续性管理等;
8)日常工作:该部分主要用于规范和明确运维人员的岗位职责和工作安排、提供绩效考核量化依据、提供解决经验和知识的积累及共享手段。
2023-02-13 00:47
IT运维的主要工作内容:
1)网络建设:近几年来,网络发展和提升速度非常快,从最开始的3G到现在的4G,以及5G网络,发展速度超乎我们的想象,网络建设是非常重要的一块;
2)开发网络管理系统:开发网络管理系统是专业程度非常高的工作,一般都由运营商自主开发,加强国际化的交流,从世界各国学习相关先进技术,学些别人的长处,弥补自己在相关系统开发方面的不足之处,方能够在运维工作中遥遥领先,占据高地;
3)进行后期维护:后期维护是运维工作的重点,后期维护类似于售后服务,这对于一个企业或者运营商来说,是占据市场的份额的重要助推力。因此必不可少,而且是必须要做的。
2023-02-13 00:48
IT服务管理(IT Service Management,ITSM)是IT团队向其最终用户提供设计、交付、管理和改善等所有IT服务的过程。ITSM致力于使IT流程和服务与业务目标保持一致,从而帮助组织更好地发展。
2023-02-13 00:48
ITSM流程通常包括五个阶段:
1)服务战略阶段(Service Strategy):这个阶段是构建组织的ITSM流程的基础或框架。它涉及定义组织能够提供的服务,战略性地规划流程,以及识别和开发所需的资产以保证ITSM流程的运转;
2)服务设计阶段(Service Design):此阶段的主要目的是规划和设计组织提供的IT服务以满足业务需求,它包括:创建和设计新服务,以及评估当前服务并进行改进。
3)服务转换阶段(Service Transition):一旦完成了IT服务及其流程的设计,为了确保流程能够正常进行,对它们进行构建和测试就尤为重要,IT团队需要确保设计不会以任何方式破坏服务,尤其是在升级或重新设计现有IT服务流程时,这就需要变更管理、评估风险。没有风险就不会发生转换,在转换期间积极主动很重要;
4)服务运营阶段(Service Operation):此阶段涉及在实际环境中实施经过试验和测试的新设计或修改设计,在此阶段中,流程已经过测试并且问题也已经解决,但是新流程注定会遇到麻烦,因此,IT团队需要密切监视流程和工作流,并积极主动地确保服务交付的连续性;
5)持续服务改进阶段(Continual Service Improvement):成功实施IT流程并不是任何组织的最后阶段,对于出现的问题、用户需求和用户反馈总能够使IT流程有改进和开发的空间。
2023-02-13 00:51
云上运维是运维发展趋势,很多技术都能够靠云计算技术来处理,常有相匹配的商品和解决方法来处理。
第一个发展趋势是,IOE架构(IBM小型机、Oracle数据库、EMC存储设备)到开源系统X86架构(计算机语言指令集),其安全性早已逐渐升高到国家的层面,我国的计算机环境飞速发展,国内生产制造的要求和自主研发的工作能力愈来愈强,这也是去IOE较强的一个内部遗传基因。全世界开源系统技术性核心理念和互联网技术迅猛发展对IOE有较大的冲击性。因为IOE这类密闭式的管理体系通常不利于产业链或是技术性的迅猛发展,是开源系统产业链不能够接纳的,所以说去IOE是真实不可逆的发展趋势。
从长久看来,IOE构架和非IOE构架还将是长期性共存的,由于技术性管理体系的升级换代并不是一两天能完成的,特别是在对一些当初的关键数据库查询、关键运用、关键系统软件通常部署在IOE这类构架下。
第二个发展趋势是运维自动化、智能化。许多产业链在运维自动化、智能化系统还需要持续迭代更新和提升,它可使运维管理产生许多高效和便捷的优势。
第三个发展趋势是双态IT运维。在传统式向互联网技术化、垂直化转型发展的全过程中,为了一方面确保目前业务流程运行,另一方面去融入这类新的IT技术性的转变,就造成了两种IT运维方式。“双态运维管理”指的是恒定和敏态,一个追求完美业务流程平稳的发展趋势,另一个追求完美迭代更新、迅速的转变需求。
第四个发展趋势便是产品研发经营一体化,即DevOps。DevOps的核心价值包含精益化管理、灵巧等基础理论,根据持续交付、持续集成的专用工具链,也有一些轻巧的IT服务管理方法。根据这种核心理念和专用工具相互打造出的产品研发经营一体化的步骤管理体系,使IT经营更为高效率,迭代更新更快,意见反馈更快,尽快考虑内部的业务流程要求和用户需求,这也是产品研发经营一体化核心理念的使用价值所属。
第五个发展趋势便是云计算技术、IT混合云和结合云。根据虚拟技术搭建的云服务平台,包含结合云或是IT混合云,通过底层融合多类云源来形成更大的服务平台,以支撑点互联网大数据、AI智能化、运维管理,并包含其他领域物联网的情景。
第六个发展趋势是智能化。为了业务发展,用户搭建了各种各样信息化管理系统和服务平台,但同时通常也产生了许多“堡垒”,造成信息管理系统堵塞,业务流程紊乱的问题。
2023-02-13 01:04
随着用户计算环境从传统自建IDC(互联网数据中心)向公有云环境的转变,运维工作也从内网环境迁移到公网中。这对用户来说是一个非常大的转变,因为在传统环境下所有的IT基础设施和数据都是由用户自己掌控,对公网的暴露面也更小。一旦用户将业务和数据都迁移到公有云,用户会更重视业务和数据安全问题。
2023-02-13 01:04
随着用户计算环境从传统自建IDC(互联网数据中心)向公有云环境的转变,运维工作也从内网环境迁移到公网中。这对用户来说是一个非常大的转变,因为在传统环境下所有的IT基础设施和数据都是由用户自己掌控,对公网的暴露面也更小。一旦用户将业务和数据都迁移到公有云,用户会更重视业务和数据安全问题。
公有云在基础架构安全性方面远超一般用户自建IDC,但在某些方面也会面临一些新的安全风险和挑战。比如公有云的运维管理工作都必须通过互联网去完成,如何安全地运维公有云上的系统。这将会面临以下几方面的风险:
1)运维流量被劫持:公有云场景下运维最大的变化就是运维通道不在内网,而是完全通过互联网直接访问公有云上的各种运维管理接口,很容易被嗅探或遭受中间人劫持攻击,造成运维管理账号和凭证泄露;
2)运维管理接口暴露面增大:原来黑客需要入侵到内网才能暴力破解运维管理接口的密码,而现在公有云上的用户一般都是将SSH、RDP或其他应用系统的管理接口直接暴露在互联网,只能依靠认证这一道防线来保证安全,黑客仅需破解密码或绕过认证机制就能直接获取管理员权限;
3)账号及权限管理困难:多人共享系统账号密码,都使用超级管理员权限,存在账号信息泄露和越权操作的风险;
4)操作记录缺失:公有云中的资源可以通过管理控制台、API、操作系统、应用系统多个层面进行操作。如果没有操作记录,一旦出现被入侵或内部越权滥用的情况将无法追查损失和定位入侵者。
2023-02-13 01:05
云原生(Cloud Native)是指技术帮助企业和机构在公有云、私有云和混合云等新型动态环境中,构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API。这些技术能构建容错性好、易于管理和便于观察的松耦合系统。结合可靠的自动化手段,云原生技术可以使开发者轻松地对系统进行频繁并可预测的重大变更。
2023-02-13 01:12
CNCF给出了云原生应用的三大特征:
1)容器化封装:以容器为基础,提高整体开发水平,形成代码和组件重用,简化云原生应并作为应用程序部署的独立单元,实现高水平资源隔离。
2)动态管理:通过集中式的编排调度系统来动态地管理和调度。
3)面向微服务:明确服务间的依赖,互相解耦。
2023-02-13 01:12
云原生包含了一组应用的模式,用于帮助企业快速、持续、可靠、规模化地交付业务软件。云原生由微服务架构、DevOps和以容器为代表的敏捷基础架构组成。
2023-02-13 01:13
云原生是面向“云”而设计的应用,因此技术部分依赖于传统云计算的三层概念,即IaaS、PaaS和SaaS,例如,敏捷的不可变基础设施交付类似于IaaS,用来提供计算网络存储等基础资源,这些资源是可编程且不可变的,直接通过API可以对外提供服务;有些应用通过PaaS服务本来就能组合成不同的业务能力,不一定需要从头开始建设;还有一些软件只需要“云”的资源就能直接运行起来为云用户提供服务,即SaaS能力,用户直接面对的就是原生的应用
2023-02-13 01:13
要素
云原生的要素包括持续交付、DevOps、微服务、容器四部分。持续交付指的是缩小开发者认知,灵活开发方向;微服务指的是内聚更强,更加敏捷;容器技术的主要作用是使资源调度、微服务更容易;DevOps的技术理念是以终为始,运维合一。
应用篇
2023-02-13 01:18
1.云服务器
(1)产品定义
云服务器是通过云提供的一种基础云计算服务。客户无需提前采购硬件设备,而是根据业务需要,随时创建所需数量的云服务器。在使用过程中,随着业务的扩展,可以随时扩容磁盘、增加带宽。如果不再需要云服务器,也能随时释放资源,节省费用。
(2)功能特点
云服务器具有高可用性、安全、弹性的特点。
1)高可用性:公有云会使用更严格的IDC标准、服务器准入标准以及运维标准,以保证云计算整个基础框架的高可用性、数据的可靠性以及云服务器的高可用性。公有云所提供的每个地域都存在多可用区。当客户需要更高的可用性时,可以利用公有云的多可用区搭建自己的主备服务或者双活服务。在云的整个框架下,这些服务可以非常平滑地进行切换。无论是两地三中心,还是电子商务以及视频服务等,都可以找到对应的行业解决方案。
2)稳定性与安全性:公有云专有网络也更加稳定和安全。
稳定性:业务搭建在专有网络上,而网络的基础设施将会不停进化,使每天都拥有更新的网络架构以及更新的网络功能,使业务永远保持在一个稳定的状态。专有网络允许客户自由地分割、配置和管理自己的网络。
安全性:面对互联网上不断的攻击行为,专有网络天然就具备流量隔离以及攻击隔离的功能。业务搭建在专有网络上后,专有网络会为业务筑起第一道防线。
3)弹性:云计算最大的优势就在于弹性。弹性能力能够保证大部分企业在云上所构建的业务都能够承受巨大的业务量压力。
① 计算弹性:纵向的弹性,即单个服务器的配置变更,可以根据业务量的增长或者减少自由变更自己的配置;横向的弹性,利用横向的扩展和缩减,配合云的弹性伸缩,完全可以做到定时定量的伸缩,或者按照业务的负载进行伸缩;
② 存储弹性:云拥有很强的存储弹性,在云计算模式下,存储弹性将为客户提供海量的存储,当客户需要时可以直接购买,为存储提供最大保障;③ 网络弹性:云上的网络也具有非常大的灵活性,云的专有网络可以保证在所有的网络配置与线下IDC机房配置相同,并且可以拥有更多的可能性,可以实现各个机房之间的互联互通,各个机房之间的安全域隔离,对于专有网络内所有的网络配置和规划都会非常灵活。
云服务器提供了丰富的块存储产品类型,包括基于分布式存储架构的弹性块存储产品和基于物理机本地硬盘的本地存储产品。
2023-02-13 01:19
3.存储类产品 弹性块存储(共享块存储、云盘)、本地存储(SSD、HDD)
3.网络类产品
(1)专有网络
1)产品定义:专有网络(Virtual Private Cloud,VPC)是基于云构建的一个隔离的网络环境,专有网络之间逻辑上彻底隔离。客户能够在自己定义的虚拟网络中使用云资源。
2)功能特点:VPC是一个独立的虚拟化网络,可提供独立的路由器和交换机组件,包括私网IP地址范围、子网网段和路由配置等。不同的VPC之间实现彻底逻辑隔离。
3)应用场景:本地数据中心+云上业务的混合云模式、多租户的安全隔离、主动访问公网的抓取类业务。
(2)负载均衡
1)产品定义:负载均衡(Server Load Balancer,SLB)是对多台云服务器进行流量分发的均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。
2)功能特点:
① 协议支持:目前可提供四层(TCP和UDP)和七层(HTTP和HTTPS)的负载均衡服务;② 健康检查:支持对后端云服务器进行健康检查,负载均衡服务会自动屏蔽异常状态的实例,待该云服务器恢复正常后自动解除屏蔽;
③ 会话保持:在会话的生命周期内,可以将同一客户端的会话请求转发到同一台后端云服务器上;
④ 调度算法:支持轮询、加权轮询(WRR)、加权最小连接数(WLC)三种调度算法;
⑤ 域名URL转发:针对七层协议(HTTP和HTTPS),支持按设定的访问域名和URL将请求转发到不同的虚拟服务器组;
⑥ 多可用区:支持在指定可用区创建负载均衡实例,在多可用区部署的地域还支持主备可用区,当主可用区出现故障时,负载均衡可自动切换到备可用区上提供服务;
⑦ 访问控制:通过添加负载均衡监听的访问白名单,仅允许特定IP访问负载均衡服务;
⑧ 安全防护:提供防DDoS攻击能力;
⑨ 证书管理:针对HTTPS,提供统一的证书管理服务,证书无需上传到后端云服务器,解密处理在负载均衡上进行,降低后端云服务器的CPU开销;
⑩ 带宽控制:支持根据监听设置其对应服务所能达到的带宽峰值;
⑪ 提供公网和私网类型的负载均衡服务:客户可以根据业务场景来选择配置对外公开或对内私有的负载均衡服务,系统会根据客户的选择分配公网或私网服务地址;公网类型的负载均衡默认使用经典网络;私网类型的负载均衡服务可以选择使用经典网络或专有网络;
⑫ 提供丰富的监控数据:实时了解负载均衡运行状态;
⑬ 管理方式:提供控制台、API、SDK多种管理方式。
2023-02-13 02:59
IaaS、PaaS、SaaS都是离不开底层硬件资源的云计算架构技术,因此需要采集硬件资源使用的数据,并依此计算相关的费用。硬件资源采集的数据主要有CPU占用率、存储空间大小、存储访问次数、网络带宽和网络访问出入流量。这些数据的组合,可以形成多种形式的收费算法,如服务器费用按需后付费、带宽费用按流量后付费、带宽按限制最高带宽预付费、服务器费用包时预付费等。
2023-02-13 03:00
计费平台除了支持上述基本计费算法以外还需要支持各种灵活的优惠措施算法,例如基本费率依据使用时间长短、容量或者流量自动调整以及在一段时期内进行一定折扣促销等。
2023-02-13 03:01
中间件是一类连接软件和应用的计算机软件或服务,它通过网络进行交互。该技术所提供的互操作性,推动了分布式体系架构的演进,该架构通常用于支持并简化那些复杂的分布式应用程序,包括Web服务器、事务监控器和消息队列软件。
2023-02-13 03:02
1.中间件定义
中间件是一种独立的系统软件或服务程序,分布式应用软件借助这种软件在不同的技术之间共享资源,中间件位于客户机服务器的操作系统之上,管理计算资源和网络通信。
中间件是基础软件的一大类,属于可复用软件的范畴。顾名思义,中间件处于操作系统软件与用户的应用软件的中间。中间件在操作系统、网络和数据库之上,应用软件的下层,作用是为处于自己上层的应用软件提供运行与开发的环境,帮助用户灵活、高效地开发和集成复杂的应用软件。
2023-02-13 03:02
2.中间件基本功能
中间件是独立的系统级软件,连接操作系统层和应用程序层,屏蔽具体操作的细节,为不同操作系统提供应用的接口标准化、协议统一化,中间件一般提供如下功能。
(1)通信支持
中间件为其所支持的应用软件提供平台化的运行环境,该环境屏蔽底层通信之间的接口差异,实现互操作。
(2)应用支持中间件的目的是服务上层应用,提供应用层不同服务之间的互操作机制。它为上层应用开发提供统一的平台和运行环境,并封装不同操作系统,向应用提供统一的标准接口,使应用的开发和运行与操作系统无关,实现其独立性。中间件的松耦合结构、标准的封装服务和接口,有效的互操作机制,都能给应用结构化和开发方法提供有力的支持。
(3)公共服务
公共服务是对应用软件中共性功能或约束的提取,将这些共性功能或约束分类实现,作为公共服务提供给应用程序使用。通过提供标准、统一的公共服务,可减少上层应用的开发工作量,缩短应用的开发时间,并有助于提高应用软件的质量。
2023-02-13 03:02
(3)公共服务
公共服务是对应用软件中共性功能或约束的提取,将这些共性功能或约束分类实现,作为公共服务提供给应用程序使用。通过提供标准、一的公共服务,可减少上层应用的开发工作量,缩短应用的开发时间,并有助于提高应用软件的质量。
2023-02-13 03:03
4.中间件的优势和局限性
(1)优势
1)满足大量应用的需要;
2)运行于多种硬件和操作系统平台;
3)支持分布式计算,提供跨网络、硬件和操作系统平台的透明性的应用或服务的交互功能;
4)支持标准的协议;
5)支持标准的接口。
(2)局限性
中间件能够屏蔽操作系统和网络协议的差异,为应用程序提供多种通信机制,并提供相应的平台以满足不同领域的需要。尽管中间件为应用程序提供了一个相对稳定的高层应用环境。但是,中间件所应遵循的一些原则离完美还有很大距离,多数流行的中间件服务使用专有的API和专有的协议,应用建立于单一厂家的产品,不同厂家的产品间很难相互操作。有些中间件服务只提供某些特定平台的实现,从而限制了应用在异构系统之间的移植。应用开发者在这些中间件服务之上建立自己的应用还要承担相当大的风险,随着技术的发展,他们往往还需重写他们的系统。
2023-02-13 03:08
云数据库服务包括关系型云数据库服务和非关系型云数据库服务两种。其中关系型云数据库服务是一种稳定可靠、可弹性伸缩的在线数据库服务,采用即开即用方式。云数据库服务技术上兼容MySQL、SQL Server等一种或多种关系型数据库应用调用方式,并提供数据库服务在线扩容、备份回滚、性能监测及分析功能。而非关系型云数据库服务能帮助用户安全、可靠、快速的构建对数据规模、并发访问、扩展能力和实时性要求都很高的应用服务。
2023-02-13 03:13
容器技术是云原生技术的底层基石,一般说的“容器”,都是“Linux容器”。容器早期是用来在Chroot环境(隔离Mount Namespace的工具)中做进程隔离(使用Namespace和Cgroups)。而现在Docker所用的容器技术,和当时并没有本质上的区别。容器的本质,就是一组受到资源限制,彼此间相互隔离的进程。隔离所用到的技术都是由Linux内核本身提供的。其中Namespace用来做访问隔离,Cgroups用来做资源限制。容器就是一种基于操作系统能力的隔离技术,图3-5所示为虚拟化技术和容器技术的对比图。
2023-02-13 03:13
可以看出,容器是没有自己的操作系统的,直接共享宿主机的内核,也没有Hypervisor这一层进行资源隔离和限制,所有对于容器进程的限制都是基于操作系统本身的能力来进行的,此容器获得了一个很大的优势:轻量化,由于没有Hypervisor这一层,也没有自己的操作系统,自然占用资源很小,因此镜像文件占用空间也相应要比虚拟机小。
2023-02-13 03:16
1.微服务定义
传统的Web应用核心分为业务逻辑、适配器以及应用程序接口(API)或通过用户界面(UI)访问的Web界面。业务逻辑定义业务流程、业务规则以及领域实体;适配器包括数据库访问组件、消息组件以及访问接口等。
2023-02-13 03:26
尽管是遵循模块化开发,但最终它们会打包并部署为单体式应用。例如Java应用程序会打包成WAR格式,部署在Tomcat或Jetty上。这种单体应用比较适合于小项目,优点是
1)集中式管理,开发简单直接;
2)避免重复开发;
3)功能在本地,避免分布式的管理和调用开销。
2023-02-13 03:26
这样的服务也有它的缺点,主要是开发效率低、代码维护难、部署不灵活、稳定性不高、扩展性不够等。因此,现在主流设计一般会采用微服务架构,其思路不是开发一个巨大的单体式应用,而是将应用分解为小的、互相连接的微服务。一个微服务完成某个特定功能,每个微服务都有自己的业务逻辑和适配器,一些微服务还会提供API给其他微服务和应用客户端使用。
2023-02-13 03:26
1)微服务架构解决了复杂性问题,将单体应用分解为一组服务。虽然功能总量不变,但应用程序已被分解为可管理的模块或服务。这些服务定义了明确的远程过程调用(Remote Procedure Call,RPC)或消息驱动的API边界。微服务架构强化了应用模块化的水平,而这通过单体代码库很难实现。因此,微服务开发的速度要快很多,更容易维护。
2023-02-13 03:27
(1)微服务架构的主要缺点
1)微服务的分布式特点带来的复杂性:开发人员需要基于RPC或者消息实现微服务之间的调用和通信,而这就使服务之间的发现、服务调用链的跟踪和质量问题变得复杂。
2)微服务架构对测试也带来了很大的挑战:传统的单体Web应用只需测试单一的REST API即可,而对微服务进行测试,则需要启动它依赖的所有其他服务,大大增加了测试难度。
2023-02-13 03:27
(2)微服务架构的挑战
1)分区的数据库体系和分布式事务:在微服务架构下,不同服务可能拥有不同的数据库。CAP(Consistency、Availability、Partition tolerance,一致性、可用性、分区容错性)原理的约束,使开发人员不得不放弃传统的强一致性,而转而追求最终一致性,这对开发人员来说是一个挑战。
2)微服务的另一大挑战是跨多个服务的更改,比如在传统单体应用中,若有A、B、C三个服务需要更改,A依赖B,B依赖C,只需更改相应的模块,然后一次性部署即可。但是在微服务架构中,则需要仔细理清每个服务组件的逻辑关系。例如先更新C,然后更新B,最后更新A。
3)部署基于微服务的应用复杂度增加:单体应用可以简单地部署在一组相同的服务器上,然后前端使用负载均衡即可。每个应用都有相同的基础服务地址,例如数据库和消息队列。而微服务由不同的大量服务构成。每种服务可能拥有自己的配置、应用实例数量以及基础服务地址。这里就需要不同的配置、部署、扩展和监控组件。此外,还需要服务发现机制,以便服务可以发现与其通信的其他服务的地址。
2.适合做SaaS应用软件的特点
1)复杂:软件庞大、安装复杂、使用复杂、运维复杂,单独购买价格昂贵,如ERP、CRM系统及可靠性工程软件等。
2)高效的多用户支持(Multi-Tenant-Efficient)特性:当一个用户试图通过某个基于SaaS模式的客户关系管理应用(Customer Relationship Management)来访问本公司的客户数据时,它所连接的这一基于SaaS模式的客户关系管理应用可能正同时被来自不同企业的成百上千个终端用户所使用,此时所有用户完全不知道其他并发用户访问的存在。这种在SaaS应用中极为常见的场景就要求基于SaaS模式的系统可以支持在多用户间最大程度共享资源的同时严格区分和隔离属于不同客户的数据。
3)模块化结构:按功能划分成模块,租户需要什么功能就租赁什么模块,也便于按模块计费,如ERP系统划分为订单、采购、库存、生产、财物等模块。
4)多租户:能适合多个企业中的多个用户同时操作,也就是说,使用同一个软件的租户之间互不干扰。租户一般指单位组织,一个租户包含多个用户。5)多币种、多语言、多时区支持。
6)非强交互性软件:如果网络延时过大,那么强交互性软件作为SaaS对外出租就不太合适,会大大降低用户的体验度,除非改造成弱交互性软件或者批量输入/输出软件。
实践篇
2023-02-13 03:31
云数据中心是云计算数据中心(Cloud Computing Data Center,CDC)的简称,作为支撑云服务的物理载体,处于云计算技术体系的核心地位。它以基于云计算技术架构为特征,以调度技术及虚拟化技术等为手段,通过建立物理的、可伸缩的、可调度的、模块化的计算资源池,将IT系统和数据中心基础设施合二为一,以崭新的业务模式向用户提供高性能、低成本、弹性的持续计算能力、存储服务及网络服务。云计算数据中心包括计算资源、存储资源、电力资源、交互能力以及弹性、负载均衡及虚拟化资源部署方式,而所有的计算、存储及网络资源都是以服务的方式提供的。这种新型服务最大的好处在于合理配置整个网络内的资源,提高IT系统能力的利用率,降低成本、节能减排,真正实现数据中心的绿色、集约化。
云数据中心不仅是一个机房设施和网络的概念,还是一个服务概念,它构成了网络基础资源的一部分,是互联网和信息化发展的“基石”,它提供了一种高端的数据传输服务和高速接入服务。
2023-02-13 03:31
云数据中心是传统数据中心适应市场需求的升级,也是数据中心演进的方向,云数据中心一般具有以下五大要素。
1.面向服务
云数据中心的整体结构都是以服务为导向。通过将自身的物理资源进行虚拟化和聚合,以松耦合的方式提供多种服务的综合承载。用户可从服务目录中进行选择自己所需的各类资源,而云数据中心底层实现这些资源供给的方法,对用户是完全透明的。
2.资源池化面向服务是云数据中心对外提供服务的宗旨,而资源池化则是云数据中心的实现途径。在云数据中心内部,各类IT资源和网络资源一起构成了统一的资源池,以便对逻辑资源和各类物理资源进行去耦合。对于用户而言,所面对的都是以逻辑形式统一存在的资源,用户只需要关注如何使用和操作这些资源,不必关心这些资源与哪些实际物理设备相关联。
3.高效智能
云数据中心主要基于虚拟化和分布式计算等技术。现代的集群设备成本较低,利用这些低廉的硬件设备可以实现相对高效的信息承载、数据存储与处理。另外,云数据中心可以综合运用各种调度策略,达到负载均衡、资源部署与调度智能化的目的。
4.按需供给
通过资源池化将物理资源转化为统一的逻辑资源后,云数据中心的底层架构可以根据用户的实际需求对资源实现动态供给。另外,云数据中心还可以根据实际的需求趋势,对底层的物理硬件设备进行智能地容量规划,从而保证在实际需求之前满足供给。
5.低碳环保
云数据中心中通过虚拟化技术可以实现绿色节能的目标,综合运用各种基于能耗的调度策略,可以在满足需求的前提下有效降低云数据中心设备的投入和运营维护成本。
2023-02-13 03:32
总体架构
云计算技术的发展推动着数据中心架构的变化,云计算架构模式的引入,使数据中心的架构更适应用户业务的快速变化,体现数据中心的敏捷性。通过引入云化技术,对计算、存储、网络等资源进行统一的管理,实现资源的共享,提高企业资源的利用率。在机房设计方面,引入低碳环保理念,通过模块化机房、云主机自动管理技术等构建绿色机房。随着新理念、新技术引入,云数据中心架构随之出现。云数据中心总体架构是数据中心构建的顶层设计,为数据中心的建设提供重要支撑作用。云数据中心架构自下而上由数据中心机房层、物理资源层、基础设施层、平台服务层、软件服务层、终端用户层六大部分构成。
2023-02-13 03:32
随着网络技术的发展,数据中心已经成为提供IT网络服务、分布式并行计算等的基础架构,为加速现代社会信息化建设、加快社会进步,发挥举足轻重的作用。云数据中心对于网络有高带宽、低时延、高可靠性、高灵活性、低能耗的要求,因此构建云数据中心网络需要具备以下要素。
1)良好的可扩展性:因为随着网络应用的不断发展,更多的服务器将会连接到数据中心中,这就要求数据中心拓扑能够具有容纳更多服务设备的能力。
2)多路径容错能力:为保证拓扑的容错性能,要求拓扑必须具有路径多样性,这样对于链路或是服务器故障等都有很好的容错效果,同时并行路径能够提供充裕带宽,当有过量业务需要传输服务时,网络能动态实现分流,满足数据传输需求。
3)低时延:云数据中心为用户提供视频、在线商务、高性能计算等服务时,用户对网络时延比较敏感,需要充分考虑网络的低时延特性要求,实现数据的高速率传输。
4)高带宽网络传输能力:数据中心各服务器之间的网络通信量很大且很难预测,达到TB或PB级,乃至ZB级,这就要求拓扑结构能够保证很好的对分带宽,实现更大吞吐量的数据通信,这样才能有效地保证高带宽的应用请求得到服务响应。
5)模块化设计:充分利用模块化设计的优点,实施设备模块化添加、维护、替换等,降低网络布局和扩展的复杂度。另外,充分考虑业务流量特点及服务要求,保证通信频繁的设备处在同一模块内,降低模块之间的通信量,便于优化网络性能,实现流量均衡。
6)网络扁平化:随着融合网络的发展,网络扁平化要求构建网络的层数要尽可能少,以利于网络流量均衡,避免过载,方便管理。
7)绿色节能:因云数据中心运营能耗开销甚大,合理的布局有利于数据中心散热,实现降低能耗开销、保护网络设备的目的。
3.常用虚拟化技术
1)硬件仿真技术:该技术在宿主机操作系统上创建一个硬件虚拟机来仿真所想要的硬件,包括客户机需要的CPU指令集和各种外设等。
2)全虚拟化技术:该技术以软件模拟的方式呈现给虚拟机的是一个与真实硬件完全相同的硬件环境,使得原始硬件设计的操作系统或其它系统软件完全不做任何修改就可以直接运行在全虚拟化的虚拟机监控器上,兼容性好。
3)半虚拟化技术:又称为泛虚拟化技术、准虚拟化技术、协同虚拟化技术或者超虚拟化技术,是指通过暴露给Guest OS一个修改过的硬件抽象,将硬件接口以软件的形式提供给客户机操作系统。
4)硬件辅助虚拟化技术:是指借助硬件(CPU、芯片组以及I/O设备等)的虚拟化支持来实现高效的全虚拟化。这主要体现在以软件方式实现内存虚拟化和I/O设备虚拟化。
2023-02-13 03:33
云计算数据中心安全体系应包括:安全策略、安全标准规范、安全防范技术、安全管理保障、安全服务支持体系等多个部分。安全体系贯彻到云计算数据中心安全的各个环节,如安全需求、安全策略制定、防御系统、监控与检测、响应与恢复等,并需要充分考虑到各个部分之间的动态关系与依赖性,如图4-6所示。
1.典型安全威胁与攻击
1)网络探测:攻击者先了解开放信息源的安全情况,随后利用端口扫描等手段获取正在活动的目标主机,了解主机开放的服务、操作系统类型及可利用的安全漏洞。2)网络窃听:目前窃听攻击主要是网络监听。攻击者在互联网上获取一个网络切入点后,得到所有数据包,并从中抽取明文方式传输的口令等安全信息。
3)获取口令:攻击者通过缺省口令、口令猜测和使用口令破解自动化工具等多种途径,可以设法获取云数据中心主机设备口令,进而实施攻击。
4)IP欺骗:IP欺骗指攻击者通过网络监听,将其发送的网络数据包的源IP地址篡改为攻击目标所信任的某台主机的IP地址,从而骗取攻击目标信任。
5)DoS攻击:在DoS(拒绝服务)攻击中,攻击者向云数据中心主机设备发送多个认证请求,并且所有请求的返回地址都是伪造的,直到主机设备因过载而拒绝提供服务。分布式拒绝服务(DDoS)采用DoS的变种工具,它会利用网络协议缺陷,控制多台傀儡主机向目标进行攻击。
6)主机的缓冲区溢出攻击:缓冲区溢出攻击是通过向程序的缓冲区写入超出其边界的内容,造成缓冲区的溢出,从而使得程序执行其他攻击者指定的代码。
7)病毒、蠕虫及木马攻击:攻击者获取网络中存在漏洞的主机的控制权,进行复制和传播病毒后,在已感染的主机中设置后门或执行恶意代码。
2.安全防护措施及方法
1)4A(Authentication、Authorization、Account、Audit,认证、授权、账号和审计)功能:主要是确认并监督用户的身份和权限。
① 路由协议的安全性:配置路由器,在交换路由表之前双方进行身份的验证,身份认证可以避免非法程序假冒路由器交换错误的路由表。
② 访问控制列表技术:在路由器上设置防火墙可以控制通过路由器数据包的端口地址范围、端口范围,实现允许某个IP地址访问内部网络的某个主机应用程序的控制。③ 网络地址转换(Network Address Translation,NAT)技术:传送IP包时,用公共IP地址替换内部IP地址,当该连接的IP包进入路由器时,将目标地址用内部IP地址替换回来,从而隐藏内部网络IP地址分配。
④ 流量分析:目前路由器软件普遍支持流量分析,可以对在很短的时间内有大量的ICMP、TCP连接请求进行智能分析。
2)防范DoS、DDoS攻击的主要途径。
① 实施进网流量过滤措施,阻止任何伪造IP地址的数据包进入网络:从源头阻止诸如DDoS这样的分布式网络攻击的发生或削弱其攻击力度。
② 采用网络入侵检测系统(Intrusion Detection System,IDS):当系统收到来自可疑地址或未知地址的可疑流量时,IDS发出报警信号,提醒管理员及时采取应对措施,例如切断连接或反向跟踪等。
③ 在路由器和Web交换机上,将下列类型的数据帧丢弃:长度太短、帧被分段、源地址与目的地址相同、源地址或目的地址是环回地址、源地址为内部地址或子网广播地址、源地址不是单播地址、目的地址不是有效的单播或组播地址。
④ Web交换机将中断启动后一段时间内没有有效帧的HTTP数据流,终止一段时间内没有返回ACK信号的TCP数据流。它也将终止任意尝试8次以上SYN的数据流,并且停止处理同样的SYN、源地址、目的地址及端口号对的数据流。
3)虚拟局域网(VLAN):保证多客户/服务器群结构安全的通用方法是给每个客户分配一个VLAN和相关的IP子网,通过使用VLAN每个客户被从第二层隔离开。数据中心的流量流向一般是在服务器与客户之间,服务器间的横向通信较少。因此,专用VLAN(pri vate VLAN,pVLAN)在同一个二层域中有三类不同安全级别的端口。与服务器连接的端口称为专用端口,它只能与混杂端口通信。混杂端口没有专用端口的限制,它与路由器或第三层交换机接口相连。共有端口之间可以互相通信,也可以和混杂端口通信,它主要是用于同一个pVLAN中需要互相通信的一组客户。
4)漏洞扫描与入侵检测系统:漏洞扫描是一种检测远程或本地系统脆弱性的安全技术。通过漏洞扫描,数据中心管理员能够检查、分析数据中心网络环境内的设备、网络服务、操作系统、数据库系统等的安全性,为提高网络安全等级提供决策支持。同时还能及时发现网络漏洞并在网络攻击者扫描和攻击之前予以修补。IDS一般包括探测器(Sensor)和检测器(Director)两个部件。Sensor分布在网络或主机系统中关键点,发现潜在的违反安全策略的行为和被攻击的先兆,并给Director管理控制台发送告警。Director采取相应的防护手段,如实时记录网络流量用于跟踪和恢复、使用诱骗服务器记录黑客行为等。
3.常用安全设备
开源云资源池等保证安全能力的安全设备一般包括:防火墙(FW)、网闸、网络及数据库安全审计系统、运维审计系统(堡垒机)、抗DDoS、IDS、入侵防御系统(Intrusion Protection System,IPS)、Web应用防火墙(WAF)、防病毒网关、网页防篡改、漏洞扫描系统、虚拟专用网络(Vitual Private Network,VPN)、安全管理平台、风险探知、虚拟路由及负载均衡、4A等,如图4-7所示。
第5章 开源云计算的系统部署
2023-02-13 08:34
1.云主机服务
云主机服务允许用户选择不同标准规格的云主机,用户可根据需要选择操作系统种类、vCPU数量、内存容量、系统盘容量,实现对云主机的灵活定制和动态创建;用户可以通过Web控制台对云主机进行创建、开机、关机、重启、续订、退订等操作;用户可以根据需要对云主机弹性化地扩展内存和系统盘容量;用户可以实时查看vCPU使用率、内存使用率、磁盘读写、网络流量等云主机重点性能指标情况。
2023-02-13 08:34
2.云存储服务
针对不同应用对存储性能的需求,云平台将提供分布式存储服务和高性能存储服务两种模式。
2023-02-13 08:34
3.云网络服务
云网络服务是通过各种网络虚拟化技术,在多用户环境下提供给每个用户独立的网络环境。网络服务是一个可以被用户创建的对象,类似物理环境中的交换机,但可以拥有无限多个动态可创建和可销毁的虚拟端口;支持虚拟路由、虚拟交换机和弹性IP,用户可自定义虚拟主机的网络拓扑和IP。
2023-02-13 08:34
4.负载均衡服务
负载均衡服务是云平台的一项基础云服务,包括链路负载均衡服务、服务器负载服务和云弹性负载均衡服务。
链路负载均衡服务将多条互联网线路进行虚拟化处理,保障用户通过最好的承载链路访问内外部资源。任意一条ISP线路中断,都不会对服务造成任何影响。通过链路负载均衡器可实现ISP接入线路的无缝扩展。
2023-02-13 08:34
5.云安全服务
常规可为用户提供7种灵活选择的安全服务,这7种云安全服务包括虚拟化访问控制服务、虚拟化入侵防御服务、虚拟化Web防护服务、虚拟化防病毒服务、虚拟化VPN服务、安全渗透测试服务及代码审计服务。
2023-02-13 08:35
(1)虚拟化访问控制服务
1)安全域隔离:指通过虚拟防火墙实现VPC外部和内部之间的基于端口的访问控制。2)访问控制策略:指对VPC外部和内部之间流转的数据进行深度分析,依据数据包的源地址、目的地址、通信协议和端口进行判断,确定是否存在非法或违规的操作,并进行阻断,从而保障各个重要的计算环境。
3)会话监控策略:指在防火墙配置会话监控策略,当会话处于非活跃状态一定时间或会话结束后,防火墙自动将会话丢弃,访问来源必须重新建立会话才能继续访问资源。
4)网络防攻击控制策略:防止ARP欺骗、防冲击波等。
2023-02-13 08:35
(2)虚拟化入侵防御服务
1)通过在VPC内部部署虚拟IDS/IPS实现对于入侵的检测与防护。
2)能够实时检测和阻断包括溢出攻击、RPC攻击、Web CGI攻击、DDoS攻击、木马攻击、蠕虫攻击、系统漏洞攻击等在内的11大类超过3500种网络攻击行为,有效保护用户网络IT服务资源,使其免受外部攻击侵扰。
3)可提供详尽的攻击事件记录与各种统计报表,并以可视化方式动态展示,实现实时的网络威胁分析。
(3)虚拟化Web防护服务
1)通过在VPC内部部署虚拟WAF实现对Web服务器的安全防护。
2)从网站系统可用性和信息可靠性的角度出发,满足用户对于Web防护及加速、网页防篡改及网站业务分析等功能的核心需求。
3)提供事前预警、事中防护、事后分析的全周期安全防护解决方案。
(4)虚拟化防病毒服务
1)通过在VPC内部部署虚拟防病毒网关实现对用户的防病毒服务。2)对SMTP、POP3、IMAP、HTTP和FTP等应用协议进行病毒扫描和过滤。
3)通过恶意代码特征过滤,对病毒、木马以及移动代码进行过滤、清除和隔离,有效地防止潜在的病毒威胁,将病毒阻断在VPC外部。
4)实时检测蠕虫攻击,并对其进行实时阻断,从而有效防止信息网络因遭受蠕虫攻击而陷于瘫痪。
(5)虚拟化VPN服务
1)通过部署虚拟化VPN,实现对VPC内部业务系统的访问控制。
2)为租户提供SSL VPN,其SSL VPN可提供Web转发、应用Web化、端口转发和全网接入等多种接入方式,以适应不同的用户需求。
3)为用户提供强大的访问控制权限管理、细粒度的审计和日志记录等功能。
4)为用户提供数据智能压缩功能,能够智能的根据当前传输数据的压缩比决定是否启用压缩,大大提高了传输的效率和应用的访问速度。
(6)安全渗透测试服务
1)专业服务人员站在攻击者的角度,利用安全工具并结合个人实战经验使用各种攻击技术对客户指定的目标进行非破坏性质的模拟黑客攻击和深入的安全测试,发现信息系统隐藏的安全弱点。
2)根据系统的实际情况,测试安全弱点被一般攻击者利用的可能性和被利用的影响,使用户深入了解当前系统的安全状况,了解攻击者可能利用的攻击方法和进入组织信息系统的途径,直观了解当前系统所面临的问题和风险,以此采取有效保护措施。
2023-02-13 08:35
(7)代码审计服务
1)协助用户建立应用代码安全审计机制,规范应用代码交付及上线流程。
2)协助用户建立应用代码审计及上线工作台,确保审计代码和上线代码一致性,进一步规范化应用系统上线流程。
3)协助用户在每次代码上线前完成代码的审计、整改,确保每次上线源代码的安全性。
2023-02-13 08:35
6.虚拟网络服务
云资源池虚拟网络服务允许通过VPC技术,在云资源池中预配置出一个逻辑隔离的区域,可在自定义的虚拟网络中启动云资源,包括选择自有的IP地址范围、创建子网,以及配置路由表和网关。
2023-02-13 08:36
7.PaaS
PaaS在管理维护、开发部署、应用使用不同的场景下,提供给相应的用户角色所需要的系统和业务支持,如图5-1所示。
PaaS平台从功能上可以分为如下8个部分:
1)基础平台:作为应用数据和应用系统的承载环境,包括了数据库群和应用服务器群,数据库群由多个甚至多种数据库构成,完成应用数据的存储管理和操作要求,应用服务器群由单一类型的应用中间件池构成,作为业务组件、技术组件以及上层应用的部署、运行环境。
2)业务服务:将原有的多个应用系统的业务逻辑层中可标准化、可共享的业务功能剥离出来下沉到PaaS平台,按照统一的规范和标准经过抽象封装形成的标准服务。
3)第三方业务系统接口:通过包装服务方式整合,实现与第三方业务连接。
4)技术服务:将多个应用系统对于技术工具和系统功能的共同需求进行统一规划、选型、实现、封装,以通用的、标准的方式向业务服务和应用系统提供支撑。
5)共享服务层:提供一个统一的应用服务器能力使用层,可连接提供各种服务能力的多种中间件服务器,并为这些异构中间件的使用提供统一的接入能力,将中间件作为一个整体运行环境来支持应用的运行,并将其作为开发能力的延伸为开发提供在线开发和持续集成能力。
6)数据库即服务:作为一个特殊的技术组件,架构在底层的数据库群上,将数据库的操作抽象封装成一组独立标准的服务,提供给上层应用和内部组件完成相应的数据操作,它能有效地屏蔽底层数据库群的数据库架构差异和物理部署细节。
7)ESB(Enterprise Service Bus,企业服务总线):作为PaaS平台统一的应用总线,按照预定的统一规格,将平台内的业务组件和技术组件包装成服务,提供给上层应用调用,并维护PaaS平台的服务目录。
8)PaaS管理系统:对PaaS平台提供对域内整体的资源管理、统计、监控调度、组件管控等的综合管理能力。PaaS管理系统负责整个PaaS平台的用户、服务、资源的整体管理,集成了构成PaaS平台的ESB、中间件、数据库、技术服务等单个组件的关键管控功能,并在此之上提供全局视角的调控管理功能。PaaS管理系统本身提供必需的下层资源供应管理,来保证上层环境供应的全生命周期管理,也可以结合IaaS平台提供的资源管控功能,提供更精细的资源供应。
2023-02-13 08:42
云迁移服务应满足下述要求。
1)支持在线迁移;
2)支持多种Windows和Linux操作系统的物理机或虚拟机;
3)支持文件级迁移和镜像级迁移;
4)支持并发迁移任务;
5)支持断点续传;
6)多次数据同步功能保障数据一致性。
2023-02-13 08:44
)应用迁移概述
应用迁移是为了将现有应用平滑迁移到云平台,将应用迁移到云平台上,可以有效地利用云平台实现提升资源利用率、动态调度资源和统一运营管理。
应用迁移之前,要先对应用架构作出相应的调整,调整的目的在于更好地把现有应用分配到云环境内部或者周边,最大程度发挥云平台的优势,另外利用本地云功能,对应用进行优化,包括管理界面、自动配置等,使其与本地云服务相对接,同时还会考虑到应用性能、安全与管理三大要素,其具体的应用系统迁移原则如下:
1)数据安全性原则;
2)业务连续性原则;3)保持迁移效率;
4)降低迁移成本;
5)迁移优先级-由易到难;
6)兼容性。
2023-02-13 08:56
3.运维管理子系统运维管理子系统功能模块图如图5-17所示。
图5-17 运维管理子系统功能模块图
(1)资源管理
资源管理可提供资源视图包括云视图、综合视图、运维视图和网络拓扑图。
1)云视图:可从逻辑上将整个资源池划分为基础架构层、资源层与应用层,来展示云中的所有资源。
2)综合视图:可分别从物理地域的角度和业务使用的角度,可拓扑展示系统中的资源,例如多数据中心、机房、机层中设备的位置和运行状况。
(2)监控管理
监控管理可提供对数据中心的计算、存储、网络等资源的实时监控。
(3)告警管理
告警管理可对采集的数据按照管理员设置的告警规则进行统计、分析、呈现、定位和通知。
(4)工单管理
工单管理可为运维管理员提供新增工单、查询工单等功能。
(5)计量管理
计量管理可对服务实例中的资源使用情况进行计量管理。
(6)报表管理
报表管理可形成日常运行的各种统计报表和运营分析报告。
(7)系统管理
系统管理可提供权限管理、系统日志管理...
2023-02-13 08:56
接口管理可提供各种计算资源、存储资源、网络资源、门户等接口管理功能。
2023-02-13 08:58
(4)授权管理
系统具备主从账号授权关系同步功能,将主从账号授权关系关联起来,作为系统运维操作的基础支撑数据。
1)角色管理:角色是资源中若干访问权限的集合,包括功能角色和数据角色。一个账号可以有多个角色,一个角色也可以有多个权限,并且一个权限也可以赋予多个角色。
在4A安全管控平台自身账号授权时,应当以角色形式进行授权,避免直接将权限赋予主账号。4A安全管控平台的自身角色管理应支持角色查询、创建、变更与删除功能。
2)岗位管理:可设置为部门领导、室主任/主管、应用管理员、网络管理员、系统管理员、数据库管理员、安全管理员、安全审计员、安全维护员、合作伙伴和其他。
3)实体级授权:4A安全管控平台的主账号代表自然人,从账号代表对资源的访问权限。实体级授权通过主、从账号关联关系的配置实现。实体级授权是授权管理的必要过程,系统管理员或应用管理员必须通过4A安全管控平台进行实体级授权。
4)角色级授权:指平台管理员能够进行主账号和平台角色之间关联关系的创建、变更和查询。
(5)审计管理
1)审计策略中心:审计策略是审计管理的核心,审计策略可以定义哪些操作是违规或者高危操作,识别并突出显示这些操作,便于审计管理员及时发现用户违规和风险操作行为。
2)基础审计:实现对审计信息的多维分析和其他分析的结果展现,可以产生图形、报表等类型分析结果;各种报表和历史数据入库保存,不允许篡改。
3)日志筛选:即提供经过标准化处理的审计信息,根据数据筛选策略进一步抽取和安全审计相关信息的过程,具体包含审计信息抽取、分拣两项工作。按照审计信息筛选策略对标准化信息中的关键行为、关键资源进行匹配或对关键字进行识别,提取出需要系统进行审计分析的信息。在数据抽取的过程中,对需要归并的数据进行归并处理。
4)日志标准化:为保证审计信息的完整性、统一性,系统具备根据审计信息类型编码标准以及操作关键字匹配后进行补全,以便按照统一的格式存储与筛选。
5)日志采集:其范围包括被管资源的敏感数据操作行为、用户关键操作行为、系统认证登录及运营管理信息等。全,以便按照统一的格式存储与筛选。
5)日志采集:其范围包括被管资源的敏感数据操作行为、用户关键操作行为、系统认证登录及运营管理信息等。
2023-02-13 09:00
5.系统管理
1)配置管理:配置管理是对4A安全管控平台的各组件及相关参数等进行配置,能够提供后台配置管理功能,包括参数配置、门户配置、采集配置等。
2)平台运行监控:系统具备系统运行状态监控能力。
3)报表展现:具备根据不同维度的展现需求,提供报表模板的创建、修改和删除等基础功能。
2023-02-13 09:00
6.应急管理
应急系统的建设是保障业务连续性的关键手段。通过应急系统的建设,系统在面对灾难、故障和可预见的系统异常时,可以提前防范有效处置。应急系统能够确保系统面向业务人员、管理人员和维护人员等提供不间断的安全服务。
(1)数据同步
应急系统定期同步4A安全管理平台的如下信息:
1)主、从账号及属性、组织目录树、角色等账号信息;
2)主从账号关系等权限信息;
3)相关的资源信息、配置信息。
(2)应急切换
在紧急情况下具备切换功能:
1)管理员经安全主管授权后,可登录应急系统启动应急开关;
2)可修改负载均衡或域名解析系统中4A安全管控平台的相关配置;
3)当生产系统恢复后,应急系统可关闭对外服务。
(3)应急登录
具备主账号+密码的登录认证功能,可以同样使用基于凭证式(证书等强认证方式)的登录认证功能。用户通过应急门户进行登录,输入主账号的用户名和静态密码,并能够通过单点登录访问权限内的主机、数据库资源。
(4)应急操作记录
应急系统启动后对应急登录信息进行记录,包括登录账号、IP地址、是否成功等信息,并具备生产系统恢复后向生产系统传送相关日志的功能。
2023-02-13 09:00
7.堡垒主机
访问控制网关是作为进入内部网络访问被管资源的集中控制点,以达到把整个网络的访问控制集中在某台主机上实现,支持对被管资源访问的应用发布、协议分析、访问控制、日志记录等功能,能够做到将所有的操作行为记录并发送到审计模块。访问控制网关功能能够对信息化系统主机数据库的敏感数据进行安全防护,通过下载申请、下载审批、日志留档等功能,来规范主机数据库文件的使用流程。
(1)单点登录
具备单点登录和单点登录策略管理功能。
(2)访问控制
访问控制支持访问策略的设置与管控两部分功能,访问策略设置具备访问控制策略的设置,支持对操作指令黑名单、白名单的定义和集中管理,可对系统资源(主机、数据库等)绑定黑、白名单。
(3)应用发布
系统上线后,不允许用户利用图形化工具对被管系统资源进行直接访问,应具备将运维人员日常使用的图形化工具发布到访问控制网关上进行应用管控。
2023-02-13 09:01
1.基础资源集群
这里的资源池部署案例按照一个资源池为例,包含管理节点、API节点、cell节点、计算节点、监控节点、块存储节点、对象存储节点等。管理节点和cell节点可解决计算节点过多导致的消息队列堵塞问题,并为以后计算资源的扩容做好准备。cell集群通过OpenStack-nova-cells服务来对接cell集群和region集群,这个服务只在单个cell节点上启用。
资源池包括如下4个部分:
1)AZ01资源池:3台管理节点,3台cell节点,20台计算节点;
2)AZ02资源池:20台计算节点;
3)块存储资源池:3台监控节点,24台块存储节点。
4)对象存储资源池:2台接入节点,3台元数据节点,20台对象存储节点。
本资源池案例将采用三层架构即3A3C(三个管理节点,三个cell节点)。
2.管理节点
管理节点上运行身份认证服务、镜像服务、计算服务、网络服务的管理部分,以及多种网络代理以及仪表板。也需要包含一些支持服务,例如:SQL数据库、term消息队列以及NTP(Network Time Protocol,网络时间协议)。
3.API节点
API节点的部署需要通过部署keystone、Glance、Cinder、Neutron、Nova-Api、Warm-Api、trove-Api、barbican来实现。
4.cell节点
cell节点的作用主要是把计算节点分成更多个更小的单元,每一个单元都有自己的数据库和消息队列。Cell节点的部署需要通过部署数据库、RabbitMQ组件、Haproxy组件、Keepalive组件、Novs-Cell、Cinder、监控代理等来实现。
5.计算节点
计算节点需要通过部署Neutron-Agent、Nova-Compute、监控服务、Trove-Taskmanager、Warm-scanner、Warm-Redis、Warm-Backuper来实现。
6.监控节点
监控节点主要包括MySQL和MongoDB数据库,zookeeper、kafka和canal等中间件,monitor-statistics、monitor-report和monitor-dbsync等监控服务。
7.块存储节点
块存储节点一般为平台提供的分布式块存储,支持与OpenStack无缝集成,可采用分布式部署或超融合的方式实现快速扩展。对外为用户提供高可靠、弹性、高性能、低延时、高效的块存储。
8.对象存储节点
对象存储节点基于通用硬件设计,为保证系统可靠性以及最佳性能,一般包括API服务节点、索引节点、存储节点、管理控制节点、网络设备。
第6章 开源云计算运维
2023-02-13 09:15
1.基础资源集群
这里的资源池部署案例按照一个资源池为例,包含管理节点、API节点、cell节点、计算节点、监控节点、块存储节点、对象存储节点等。管理节点和cell节点可解决计算节点过多导致的消息队列堵塞问题,并为以后计算资源的扩容做好准备。cell集群通过OpenStack-nova-cells服务来对接cell集群和region集群,这个服务只在单个cell节点上启用。
资源池包括如下4个部分:
1)AZ01资源池:3台管理节点,3台cell节点,20台计算节点;
2)AZ02资源池:20台计算节点;
3)块存储资源池:3台监控节点,24台块存储节点。
4)对象存储资源池:2台接入节点,3台元数据节点,20台对象存储节点。
本资源池案例将采用三层架构即3A3C(三个管理节点,三个cell节点)。
2.管理节点
管理节点上运行身份认证服务、镜像服务、计算服务、网络服务的管理部分,以及多种网络代理以及仪表板。也需要包含一些支持服务,例如:SQL数据库、term消息队列以及NTP(Network Time Protocol,网络时间协议)。
3.API节点
API节点的部署需要通过部署keystone、Glance、Cinder、Neutron、Nova-Api、Warm-Api、trove-Api、barbican来实现。
4.cell节点
cell节点的作用主要是把计算节点分成更多个更小的单元,每一个单元都有自己的数据库和消息队列。Cell节点的部署需要通过部署数据库、RabbitMQ组件、Haproxy组件、Keepalive组件、Novs-Cell、Cinder、监控代理等来实现。
5.计算节点
计算节点需要通过部署Neutron-Agent、Nova-Compute、监控服务、Trove-Taskmanager、Warm-scanner、Warm-Redis、Warm-Backuper来实现。
6.监控节点
监控节点主要包括MySQL和MongoDB数据库,zookeeper、kafka和canal等中间件,monitor-statistics、monitor-report和monitor-dbsync等监控服务。
7.块存储节点
块存储节点一般为平台提供的分布式块存储,支持与OpenStack无缝集成,可采用分布式部署或超融合的方式实现快速扩展。对外为用户提供高可靠、弹性、高性能、低延时、高效的块存储。
8.对象存储节点
对象存储节点基于通用硬件设计,为保证系统可靠性以及最佳性能,一般包括API服务节点、索引节点、存储节点、管理控制节点、网络设备。
2023-02-13 12:22
ITIL
ITIL(Information Technology Infrastructure Library,信息技术基础架构库)是全球公认的一系列IT服务管理的实践指南。由英国中央计算机与电信局(CCTA)创建,旨在满足将信息技术应用于商业领域的发展需求,是管理科学在信息计划中的应用,是一种基于流程的方法。
ITIL强调“以流程为导向,以客户为中心,以技术为支点,提供低成本、高质量的IT服务,以满足业务快速发展的需要”。
ITIL基于PDCA循环(戴明环),循序渐进地实现运维流程,ITIL主体框架将整个运维流程分为服务战略、服务设计、服务转换、服务运营四大流程阶段,可实现事故、问题或故障在不同流程阶段中的切换,方便跟踪管理。
1)服务战略:对持续服务管理原则的战略规划,帮助在服务全生命周期中开发服务管理制度、标准和流程,服务战略指导对服务后续环节都有很大指导意义。
2)服务设计:主要是指在服务生命周期里提供或维护服务而进行的变更,以实现服务的持续性、服务级别水平协议,针对如何提高服务管理的设计能力。3)服务转换:包含为构建、测试和开发一个新服务和服务变更而进行的流程与功能的管理,按照设计阶段的说明在相关干系人需求基础上建立服务转换。
4)服务运营:主要是指在服务过程中协调活动、流程的管理,以便按照不同的服务水平级别提供服务管理和技术支持,还用于提供和支持服务的日常管理。
为对开源云计算平台系统的运行维护进行有效管理,确保运行维护体系高效、协调运行,应依据运维管理环节、管理内容、管理要求制定统一的运行维护工作流程,实现运行维护工作的标准化、规范化和自动化。通过建立运维管理流程,可以使日常的运维工作流程化、职责角色清晰化,从而使解决问题的速度和质量得到有效提高,实现知识积累和知识管理,并可以帮助运维部门进行持续的服务改进,提高服务对象的满意度,ITIL包括以下几个核心流程。
1)事件管理流程:主要目标是建单跟踪IT服务运作过程中发生的事故,方便记载处置过程、事后评估,避免事件升级,将业务影响降低。所谓事件,是指发生的对IT体系某一环节运行造成影响的事件,包括任何影响用户业务操作和系统正常运作的故障以及影响业务流程的情况,事件也包括一个用户的请求。对日常性运维工作中出现的突发事件(即日常运行维护管理平台自动发现并产生的告警事件)和由用户/维护人员报告的事件会转入事件管理流程,事件管理流程如图6-1所示。
2)问题管理流程:主要是为了预防事件和问题的再次发生,找到导致问题的根本原因,提供临时过渡解决办法和最终解决方案,通过建立适当的控制过程,在问题或事件没有得到根本解决前将影响减到最小。问题是指导致事件产生的原因,许多事件往往是由同一个问题引起的。问题管理流程着重于消除事件或减少事件发生,确定事件的根本原因,其流程如下:首先,定期分析事件,找出潜在问题,调查问题以找出其原因,制定解决方案、变通方法或提出预防性措施,以消除产生原因,或在重发时使其影响力最小化;其次,记录解决方案、变通方法、预防性措施,根据需要添加到知识库中;再次,提出变更请求,对问题的解决方案进行评估,通过提出变更请求以对该方案进行测试和实施;最后,问题必须进行事后回顾以找出改进机会或总结出预防性措施,包括改进事件监测、找出技能差距和文档资料改进等。
图6-1 事件管理流程
3)变更管理流程:是指基础设施和应用系统的变更管理,通过变更分类,评估风险,记录并有效控制变更对企业运营可能造成的风险隐患,如图6-2所示。
4)发布管理流程:主要目标为了确保变更后的运行质量,通过规范流程来保证只有经过完整测试验证和正规授权的软硬件才能进行变更实施。
5)配置管理流程:负责记载IT基础设施和应用系统的信息与属性,并建立配置项之间的关系以及业务影响,通过配置来保证配置数据的一致性和有效性,通过服务接口来对接变更管理,确保配置项能够准确地反应实际状态,保证“账实相符”。
、2023-02-14 08:31
云数据中心运维体系标准可遵照ISO、ITIL、ITSS等一系列认证标准为基础进行设计,以资源池平台高质量运维保障为目标,以自动化、智能化的智效运维工具集为手段,以流程化、规范化、标准化管理为方法,以全生命周期的PDCA循环为提升途径,对云数据中心运维服务全过程提供体系化管理,实现规范运维操作、提升运维效率、提高运维质量、降低运维成本的目标。云数据中心运维团队一般会综合考虑数据中心所支持应用的可用性要求、数据中心场地基础设施的等级、容量等因素,结合可用性目标、能效目标以及服务等级协议(SLA),与客户及相关业务部门共同讨论确定运维管理目标,运维人员一般可通过如下常态化运维生产工作来保障云数据中心可用率,有效编制出完整翔实的运维规程文档。云数据中心运维规程的编制,可遵照4P规程文档体系,通过梳理运维对象、明确运维需求,有机结合运维活动、需求和运维对象,完成运维规程文档的编制工作,4P规程文档体系为
2023-02-14 08:31
1)行政管理规程(Administration Procedure,AP):AP是云数据中心基本运维管理制度、生产规范以及运行流程等规程文档。
2)标准操作规程(Standard Operating Procedure,SOP):SOP是将某一项工作的标准操作步骤和要求以统一的格式描述出来,用来指导和规范日常的运维工作。所有关键设备系统在各种情况下都能执行常用操作,都应制定标准操作流程。
3)维护操作规程(Maintenance Operation Procedure,MOP):MOP是用于规范和明确云数据中心运维工作中各项设备系统的维护保养审批流程、操作步骤。
4)应急操作规程(Emergency Operation Procedure,EOP):EOP用于规范应急操作过程中的流程及操作步骤。确保运维人员可以迅速启动,确保有序、有效地组织实施各项应对措施。
2023-02-14 08:34
由我国开源云计算产业联盟(OSCAR)联盟和高效运维社区联合牵头,联合产业AIOps专家,结合互联网、银行、电信等行业AIOps落地经验,《企业级AIOps实施建议白皮书》已经发布到了1.0版本,白皮书阐释了AIOps的目标是“利用大数据、机器学习和其他分析技术,通过预防预测、个性化和动态分析,直接和间接增强IT业务的相关技术能力,实现所维护产品或服务的更高质量、合理成本及高效支撑”。白皮书中建议“AIOps的建设可以从无到局部单点探索,再到单点能力完善,形成解决某个局部问题的运维AI学件[学件(Learnware)=模型(model)+规约(specification),具有可重用、可演进、可了解的特性。“可重用”的特性使得能够获取大量不同的样本;“可演进”的特性使得可以适应环境的变化;“可了解”的特性使得能有效地了解模型的能力],再由多个具有AI能力的单运维能力点组合成一个智能运维流程”。AIOps的组成元素如图6-5所示。首先,通过各种底层工具采集IT运维数据,如各种事件、指标、日志、监控等,接着将这些采集到的数据流传入到数据实时处理模块之中,接着通过应用规则、模式识别、行业内算法、机器学习或其他人工智能手段发现数据的根本规律,从而扩展到未知环境并加以应用,最终实现运维的完全自动化。
2023-02-14 08:34
AIOps研究要点主要有三个方面侧重,一是侧重于效率提升的研究点,包括智能决策、智能变更、智能问答等;二是侧重于质量保障的研究点,包括异常检测、故障分析等;三是侧重于成本管理的研究点,包括资源优化、容量规划性能优化等。AIOps的能力框架如图6-6所示。
2023-02-14 08:35
一个产业的生产模式关乎这个产业的生存命脉,在“互联网+”的时代大背景下,传统工业的生产模式正在经历着前所未有的变革,依靠云计算、大数据等诸多现代化信息技术的新模式悄然诞生。伴随着这场变革,扎实推进数据信息化与业务管理的融合,全面实现智效运维的管理基础,大力推进监控网管系统的自动化、智能化水平提升,来提高运维效率、规范运维操作、提升运营能力、形成运维产品,实现运维生产规范化、精细化和集约化的运维目标,为客户提供面向全国的跨专业综合性的智效运维支撑体系,助力云数据中心运维生产工作的高质量发展。基于智效运维的开源云监控网管体系如下图6-8所示。
2023-02-14 08:35
通过基于云数据中心的市场需求、运维经验和运维问题等方面的需求采集,可通过直采(技术壁垒高)、合作开发(技术壁垒中)、自主研发(技术壁垒低)三个方面的形成途径,
来逐步构建云数据中心五大类智效运维工具集,利用可视化技术,实现资源视图、监控视图、运维视图、运营视图以及大屏视图等五大类可视化视图层。智效运维工具集用于基础运维生产保障服务的同时,亦可包装形成运维工具产品,同步申请获得知识产权的软件著作权及专利,通过适时输出可为客户提供服务并拉动运维增值收入,最终实现运维保障服务的提质降本增效目标。智效运维工具集可按照五大类参考构建:
1)监控监测类:硬件监控、网络监测、数据共享、故障溯源等;
2)数据分析类:数据归集、运营运维可视化、数据挖掘、移动应用等;
3)流程信息类:事件管理、变更管理、知识管理、问题管理等;
4)安全防护类:安全防护、安全审计、安全分析、安全侦测等;
5)运维辅助类:配置辅助、值班辅助、数据备份、操作辅助等。
2023-02-14 08:44
主机集群维护适用于开源云资源池平台主机设备及附属操作系统的维护管理,主机设备主要指通用机架式架构X86服务器(含刀片式),包含承载资源池平台虚拟化环境的宿主机和独立单台使用的物理机。操作系统主要包括各类常用的Windows Server类系统与Linux类操作系统。
6.6.2 主机集群基本维护
1)服务器设备的维护包括日常维护、定期维护和突发性维护。
① 日常维护是指日常检测等经常性的简单维护工作,包括对设备整体运行状态、设备内关键部件运行状态、操作系统状态的实时监控等。
② 定期维护是指按规定期限进行的预检、预修、检测等维护工作。包括对设备整体及设备内关键部件的周期性检测,对安装在设备上的操作系统的周期性检测,对设备所在机房的巡视和环境维护等;设备的定期维护应有详细记录。
③ 突发性维护指当设备整体或部分部件、承载的操作系统无法正常运转时的故障处理等。
2)维护单位应对资源池内的服务器设备及其包含的各部件建立准确、完备的资料档案,并做到及时更新。
3)未得到相关运维管理部门许可,严禁对资源池内的各类服务器设备及其上承载安装的操作系统执行操作、重启、复位、变更等操作。
4)新设备的交付上线应执行验收通过许可制,达到本专业验收条件并专业维护人员确认后可上线开始使用。
5)开源云资源池的相关工程必须经过各相关专业初验,满足验收要求的各项技术指标和设计要求后正式移交至运营相关部门后方可进行业务的开通。
6)服务器设备及操作系统维护项目:
监测设备整机运行状态;
监测设备主板运行状态;
检测设备CPU、内存、硬盘、电源模块、RAID卡等主要部件运行状态;
检查上述内容是否有告警;
检查服务器IPMI独立模块健康和运行状态;
检查服务器连接的各类链路(包括网线、光纤、电源线等)运行状态;
检测操作系统运行状态,核心内核运行状态,各主要进程运行状态;
检测操作系统内CPU、内存、硬盘、网卡等运行状态;
检测主机存储使用率;
检查、修改设备IPMI及操作系统各级登录口令;
监控设备及操作系统运行状况,保证正常运行。
7)设备资源数据档案、运维资料的维护管理。
① 资源数据档案、运维资料包括:
设备资产清单;
设备详细配置清单(包括配置调整后的更新);
资源池以集群为单位的网络拓扑图;
设备链路连接资料;
项目验收记录、故障处理记录、值班日志;
设备维保及到期后续保的状态信息;
操作系统的类型及核心版本号信息;
操作系统账号登录信息及变更信息。
② 维护要求:
严格管理相关维护资料,建立文档管理体系;
严格遵守相关保密制度,未经批准不得擅自向无关人员泄露相关资料;
根据设备配合和操作系统的变更及时更新资料内容。
8)服务器设备维护管理必须遵循先核实后处置的原则,对于服务器在当前运行状态下是否承载业务的情况进行准确了解。
9)服务器维护管理的基本要求。
掌握物理设备运行状况、涉及多机或集群的,掌握整体运行状态,合理调配各资源池间的设备资源,保证合理利用和运行最优化。
制定服务器设备的维护作业计划并组织实施。专人负责用于监控服务器设备的网管系统,以及承载监控业务的网管系统的软硬件设备。
对于现用或备用的整机服务器设备,不得擅自更改其配置、结构或拆除部件,保证设备的完整性和可用性。
对于下线的设备,专人负责设备的回收、放置,对于有利旧需求的,按照资产管理部门利旧管理办法执行,完成资产的全生命周期管理。
10)操作系统维护管理必须遵循先核实后处置的原则,对于操作系统内是否后续部署了包括数据库、中间件、分布式存储环境、虚拟化平台等核心业务的情况进行准确了解。
操作系统运行整体状况:操作系统作为软件层面的基础,必须保证其可用性和完整性,主要指操作系统的各核心功能可以正常工作,各核心进程运转正常,各类相关配置项准确无误,在遇有断电、重启等场景时,保证操作系统的可重复使用。
操作系统版本信息:必须依据业务需要严格规定安装操作系统的版本类型和信息,对于Windows类系统,保证其来源及用途合法,状态正常激活,对于Linux类系统,保证其版本完整准确,非改造版本或其他第三方途径的定制版本。
操作系统维护人员应具备维护技能:在遇有操作系统类故障时,能够执行各类状态查看、核心模块功能修复、操作系统重新安装及配置等操作,以恢复业务。
操作系统日常监控内容:包括主机全部核心部件的状态健康度,及各核心部件的性能指标,能够做到发现某一个或多个指标超出阈值的及时发现和处置。
11)服务器设备运行质量指标统计项目:
整机及整机告警灯健康状态;
服务器主板健康状态;核心部件CPU、内存、硬盘、RAID卡、电源模块健康状态;
RAID卡及磁盘RAID信息准确无误;
IPMI模块健康状态;
服务器电源线、电源指示灯、电源模块指示灯状态;
服务器双绞线网卡接口、网卡指示灯、网线状态;
服务器光纤网卡接口、网卡指示灯、光纤状态;
服务器HBA卡接口、网卡指示灯、光纤状态;
服务器名牌、序列号、服务代码、SN信息等的完整性和清晰度辨识状态;
重大故障的次数和历时。
12)操作系统运行质量指标统计项目:
操作系统内核运行状态;
操作系统启动或引导部分的配置信息正确;
服务器设备内各部件驱动正确无告警;
CPU使用率在非业务峰值情况下低于80%;
内存使用率在非业务峰值情况下低于80%;
操作系统盘使用率低于80%;
全部网卡使用率在非业务峰值情况下低于80%;
操作系统核心进程无异常和无关进程项;
操作系统的用户名密码正常可用,不存在无关账号、测试账号、僵尸账号等。
第7章 云计算安全
2023-02-14 08:50
虚拟化是云计算的核心,也是云计算区别于传统计算模式的重要特点。虚拟化的目的是虚拟化出一个或多个相互隔离的执行环境,用于运行操作系统及应用,并且确保在虚拟出的环境中,操作系统与应用的运行情况与在真实的物理设备上运行的情况基本相同。
通过虚拟化技术,可以使系统中的物理设施的资源利用率得到明显提高,有效地平衡云计算系统的性能,还可以使系统动态部署变得更加灵活、便捷。
尽管虚拟化是云计算最重要的技术支持之一,然而,虚拟化的结果必然会使许多传统的安全防护手段失效。从技术层面上讲,云计算与传统IT环境最大的区别在于其虚拟的计算环境,也正是这一区别导致其安全问题变得异常棘手。虚拟化的网络结构令传统的分域防护变得难以实现,同时虚拟化的服务提供模式使得对使用者身份、权限和行为的鉴别、控制与审计变得更加困难。
为了解决上述虚拟化的安全问题,图7-1所示为“虚拟安全网关+集中管理+集中审计和集中授权”的云计算及虚拟化一体化安全解决方案示例,这样的方案旨在实现以下功能。
1.虚拟安全网关
虚拟安全网关可以为用户安全功能,包括访问控制、攻击防御、病毒防御、应用控制、身份认证、日志审计等,同时对系统进行深度优化和改造,以减少开启各安全引擎后带来的性能降低,保证用户网络的安全性。
2.核心技术及实现方式
通过对vSwitch的配置调整,将需要进行安全检查的流量指向虚拟安全网关,来完成相应的安全检查和流量监控审计等,并针对虚拟机的虚拟网卡驱动进行优化,使具有硬件防火墙的性能。
3.集中管理
集中管理不仅可以对传统的网络设备和安全设备进行统一管理和监控,对虚拟安全网关产品也可以进行统一管理、部署、监控和策略下发。另外通过对全网设备集中的管理和监控、攻击行为的分析后,找出安全威胁和漏洞,发现网络脆弱点和安全短板,加强安全策略的应用并检验安全策略应用效果,从而构成安全闭环。
4.集中审计
由于虚拟安全网关产品的推出,使得安全审计也成为可能,虚拟机之间的所有访问日志和安全性问题都可以通过虚拟安全网关以日志形式发送到外部服务器,由外部的集中审计产品来完成相关的审计和报表的生成处理。
5.集中授权
对于来自虚拟机外部和内部的访问授权也是虚拟安全网关产品的一个重要功能,未经认证的用户访问不同虚拟机资源时,须经过虚拟安全网关的认证后才可以访问相关指定资源,认证服务器可以统一部署、集中认证。gdangbookid1901277690 for IOS
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/344806c0536661d5954f18f818ff721d.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/7345167e51080f7bb5e5974d12d53812.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/1e60f67136ae0307bb6602e966d6372c.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/5a21a89d1418c2b3f67403b6f9268638.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/3f30b5471926c001ad2dae9f4dfad021.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/3f4eb1dfac4e8cca61cbb8eaf9221fb3.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/56356656b1540971049354b9d6c9b5d5.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/48783fbf7d6e94ab3a1b5801d65b57f0.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/d7133e1a447518d6a93a02e2d30e4110.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/59d797c34f862949e51a0fcc9bd18490.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/b3a2d4403e1e6b4f15af0883d0fcd6f6.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/ef47abe1335f8f6ffedf71dc557a6e63.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/95e0dd6645805ad71f5c8ec01f71090f.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/e1e907b280245cd3e0eae5997a8bc0a2.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/c98aca5dce588c77effa92c9c959c7db.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/eb92198e8244a27644a9e502ed21fa81.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/3d43266506b9a6f40eaa3822e62396b6.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/135c684c331f26b3a3b8a9768857d829.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/d08c6c53003936f683949d64a68fbff8.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/dadf72b8c83eb9cc1ca732e2d704570c.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/01745915c6dc6dd5bc5e35e4d1f77da7.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/557b446bb95403f7917d52e29a05850d.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/86c1689806d600d958faf72c52fc2c98.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/c2d2cbac39eb725a1e4b6f9258db57b9.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/10f36cc2d60ab4b4ed9c05ea7949325f.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/34b55491e165c9d5bc77dbbad1d20382.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/421c97ef3cc4c422f2e3be7ab3e38748.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/356f578baa7bdf0f0191b1981d6e3bd5.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/9050088a50b6aaf51fe2f40c660089b1.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/a96b06383a504dac7dd63dc32beb1d40.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/3c3d73689391507f40791be811f18b06.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/2ab6b2ac01a6db06c657949f42deebf9.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/e7c9fe86821337aaf262b2e23e0835f7.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/372cd28a5bdf948c9bc4ae14223672e9.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/0ffb71cadca2bf8d0afa04569c54db4f.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/90c004cbe9261924abe1e13ae6c8495a.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/858ee8a85bf8264da68927ef6431152f.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/87061fedb721b685e629d0c8bdd75b39.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/e752be29ed0cc58d5563098b832d5a4e.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/97c87826447afd7fa5a9415539a598da.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/152bd14e2ec7d944a34e10668383d410.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/288a59f49b065e40561eb3c546b6b0d5.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/f36d06885b69cd087dafa6f0a527719b.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/75a6effc9942778e4cb9143d6725d5b1.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/61e3fa95701de61b91281631a374041a.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/b2a567d7083d8c25927aaef29f1c6bc8.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/996dfff906cab5a368aba46ea350664e.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/2f3f274b1ef44e576ef692808dd85015.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/316f583e5b3dbc232fae99539c40e7d1.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/f8fa4182407b4ff47fb53b5aac5e34e8.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/7cd6a35773dca652cbc7d9ce6efa9213.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/f447d65fb55037cbfbc65e3c239f465b.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/a0722d62996f982dd40278fb0b76230c.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/68ba1f8af2f59ae408ca2c6ad8eba7f4.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/80abe8bfa0acd36bfb6689e4eae6aa57.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/e26553e17310957856cd324080cf724e.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/0d0119fb01bbc7da0ef54a8628d99b45.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/24ab74624d97187655651128148d2532.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/8c9dd91ccd5cb2126781a669c39a6d25.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/75488381f15be5cfab8cd91f0912c664.jpeg)
![Attachment](https://i-blog.csdnimg.cn/blog_migrate/2aff0115250a2d37b004b8ff819b81e9.jpeg)