云原生的本质_如何看待阿里成立云原生技术委员会,云原生是否会成为云计算未来最终的发展方向?...

谢邀。

这件事有很多朋友关注,我也跟大家分享一些我的看法。

现代计算机技术从冯·诺依曼架构发展到服务器再到分布式集群,再发展到互联网,再发展到云计算和万物互联,究其本质就是对于计算与存储资源的稳定、安全、高效使用的不断演进,以及实现计算与存储之间高效通道所必须的通信(memory bus/IO bus等)和网络技术。云原生的本质就是发挥云计算资源池化、平台规模化等技术红利带来的业务价值,利用容器化部署、微服务、存计分离、serverless、多租户、智能化调度与运维管控等多种技术手段来充分的发挥云计算带来的弹性、高可用、灵活部署、简化运维、易拓展等这些核心业务价值。作为中国以及世界上领先的云计算公司,阿里云全面打造云原生技术与产品体系, 帮助企业客户和开发者接触和使用到最适合他们业务发展和部署的业界领先的云原生技术与产品,在确保业务与数据安全可信、稳定可靠的前提下,利用All In云原生战略带来的丰富的云原生产品体系和生态,助力我们的客户和开发者能够更加敏捷、更加智能化、更加低成本的实现云上数字化转型与升级,同时享受到云原生技术红利带来的TCO成本下降。云原生技术在云原生产品体系中规模化应用后带来的敏捷开发与部署、安全可信、智能化、以及边际成本下降等效应会体现在我们的产品和客户的应用上,客户也因此受益。All In云原生战略规模化实现后,这些由云原生技术带来的业务价值会帮助我们和客户实现边际成本不断下降,这是颠覆不破的经济学原理。

接下来跟大家简单介绍下目前阿里云数据库在云原生方向的布局。

数据库领域的核心发展方向是云原生加分布式,以及由此带来的几个核心技术布局: 安全可信、自治与智能化、数据库大数据一体化(HTAP/离在线一体化/计算分析一体化)、数据仓库与数据湖、多模数据库以及软硬件结合。

在企业级云原生数据库赛道上,在OLTP(在线事务处理)领域我们推出了核心产品云原生关系型数据库 PolarDB以及它的分布式版 PolarDB-X。PolarDB充分的利用了云原生技术架构里面的资源池化和资源解耦思想,利用分布式共享存储以及shared-everything架构实现了存储池化、计算池化、存计分离,做到了分布式架构透明化的集中式部署,具备有优异的分钟级别弹性、金融级高可用、性价比和兼容性, 可以很好的支持传统商业数据库向云原生数据库平滑迁移。PolarDB-X在次基础上,进一步结合shared-nothing架构来实现水平拓展,利用分布式事务处理和分布式查询优化技术做到透明式的分布式+云原生架构。

在OLAP(在线分析)领域,我们推出了新一代云原生数据仓库 AnalyticDB(简称 ADB)以及云原生数据湖分析 Data Lake Analytics(DLA),ADB 也具备存储计算分离、存储池化、弹性、高可用、离在线一体化的大数据处理能力,在支持复杂分析与计算的同时支持CURD(增删改查), 用数据库的方式支持客户和业务去处理大数据计算与分析。同时ADB也高度兼容现有生态,可以很好的做到传统数仓一键升级到云原生数仓。ADB也支持HTAP, 可以高效的处理混合负载。DLA 利用云原生 serverless 的技术方式和架构设计,实现低成本高效的一键建湖,自动发现和管理多源异构数据源的元数据,并支持 delta 变化。用云原生 Serverless 的方式实现低成本数据湖构建、管理、计算与分析。

在 NoSQL 领域,我们推出了云原生多模数据库 Lindorm,帮客户提供「存得起、看得见」的非结构化、半结构化的数据存储与处理解决方案。由此客户可将海量的非结构化和半结构化数据存储在 Lindorm 中,并以简易、高效的方式处理和查询数据,比如时序、日志、文档等。另外提供了企业级缓存Tair,支持热点打散、智能化冷热数据分离、将一个集群内存进行集群化的管理和使用和调度等,由此极大提升应用对缓存、内存数据库的访问,提升效率和降低成本。Tair 结合英特尔 AEP(Apache Pass)非易失内存技术与神龙虚拟化技术,提供一个基于云原生缓存池的内存数据库,并且具备持久化能力。

除此之外我们也研发了结合机器学习与AI技术的云原生智能化管控平台,提供基于云原生架构(例如基于K8S的管控编排),利用DAS(Database Autonomy Service)来提供数据库自动驾驶平台,实现数据库系统的自治化与智能化。我们也建立了丰富的企业级数据库生态工具体系,例如数据传输同步DTS,数据库备份DBS,数据库应用评估与迁移ADAM, 和数据应用开发与管理DMS。

云原生的核心是什么?我认为是生态

得生态者得天下, 开源和标准是建立生态的方法之一,但不是唯一。比如,传统的商业数据库 Oracle、SQL Server 也没有开源,但 Oracle 的生态做得非常好。我们主要采取了两大战略:

第一,核心产品包括 PolarDB、PolarDB-X、ADB、DLA、Lindorm、Tair,100% 兼容或者高度兼容现有的主流生态,而不是另起炉灶、自我封闭。对此,阿里选择坚持自主可控自研,不开源,但这也并不代表其不支持开源社区。

第二,生态之所以叫「生态」,有一个很关键的逻辑和观察,即「多样性」。这也是为什么传统的数据库领域中有 OLTP、OLAP、NoSQL 等多种分类。亚马逊雨林是生态,张北防护林不是生态。数据库领域不能只做 TP 数据库、事务处理,接下来的发展会越来越多看到像 HTAP 这种技术,将在线事务处理和分析合二为一,将在线分析和离线计算合二为一,我们会越来越多的看到数据库和大数据系统的结合。要为客户提供端到端的数据从生产到处理、从存储到计算分析的解决方案。这也是为什么 Gartner 的最新的魔力象限调查提出了 There Can Be Only One DBMS Market, 将 DMSA(Data Management Solution for Analytics)与 OPDBMS(Operational DBMS)合二为一为 Cloud DBMS 一个魔力象限,”基于此,阿里在生态构建上同样从两个重要维度展开:

a. 同合作伙伴共同发展,确认我们产品的标准和体验是不是开放兼容,和合作伙伴一起打造一个丰富的生态;

b. 我们产品体系是不是足够丰富,帮客户用一套数据库的标准,来解决数据处理、存储、计算、分析的痛点。

另外,我认为数据库的未来趋势是——“云原生+分布式”

所谓云原生,重要有两大部分:「云」与「原生」。其中,云,即用虚拟化的技术实现资源池化。而「资源池化」的定义,可追溯到六十年代的冯·诺依曼架构,因为它奠定了现代计算机体系架构。冯·诺依曼中有最核心的两个要素:计算和存储,它们构成了冯·诺依曼架构的基石,可能还要加上第三个要素——计算和存储之间的通信。在单机部署情况下,通信就是计算和 Memory Bus、IOBUS。但在集群部署的情况下,计算和存储的通信就是网络,这是经典计算机架构。

传统的数据库系统都是基于上述经典的传统架构来设计的,但这里出现了一个问题,传统数据库系统因系统架构方式,必须是紧耦合的设计方式,才能最大效能地发挥出系统优势。类似于过去在村庄中,各家根据自己的用水量打一水井使用,这与传统的数据库系统使用计算、存储资源的方式是一样的,它是紧耦合的。

但如果水不够了怎么办?这就需要用到传统数据库系统中经常提到的业务扩容。在传统的金融行业,数据库系统扩容需要提前几个月甚至半年做规划,进而细致部署、缜密实施,上线-灰度-再验证,一整套流程就是为了扩容、缩容。

随着云原生技术的发展,无须使用紧耦合的方式来部署和使用资源,不用家家户户打水井,而是整个村庄联合起来打一个湖或池塘,修管道连到各家各户的厨房里,这就是资源池化。在资源池化之后,可以按需按量使用、弹性调度资源。也可以将资源进行解耦。

时下,业界在计算存储分离方面,是将 CPU 和 Memory 绑在一起,和 SSD 持久化存储分开。随着 NVM 非易失技术的成熟,下一步甚至会将 CPU 和内存再进行隔离,内存再进行池化,形成三层池化,进一步隔离、弹性,更好地帮助客户实现按需按量使用资源。

正如上述提及的「水井和池塘」的逻辑,随着池塘不断变大,越来越多应用迁移上云,池塘不再是池塘,而将变成了江河大海,池塘与池塘之间还可以利用传统分布式技术进行打通,实现云原生+分布式的架构。这样做带来的好处,就是经济学里经常听到的一个基本、朴素的道理 —— 规模化应用后带来边际成本下降效应。这个效应将会体现产品上,客户也因此受益,它的 TCO 一定会下降。规模化实现后,边际成本一定会下降,这是颠覆不破的经济学原理。

同样,如果有 1 万吨水,要维护 1 万个独立的井,和 1 万吨水放在一个水库里维护,哪个更简单?在规模化带来的边际成本下降即云原生带来的技术红利以及经济红利,向云原生技术演进的趋势是自然发生并非常清晰的,不论用公共云还是专有云私有化部署都一样。云原生数据库系统利用容器化部署、微服务、存计分离、serverless、多租户、智能化调度与运维管控等多种技术手段来充分的发挥云计算的优势,从传统数据库系统升级到云原生数据库系统会为企业带来弹性、高可用、灵活部署、简化运维、易拓展等这些核心业务价值。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 支持向量机非线性回归通用MATLAB程序解析 #### 一、概述 本文将详细介绍一个基于MATLAB的支持向量机(SVM)非线性回归的通用程序。该程序采用支持向量机方法来实现数据的非线性回归,并通过不同的核函数设置来适应不同类型的数据分布。此外,该程序还提供了数据预处理的方法,使得用户能够更加方便地应用此程序解决实际问题。 #### 二、核心功能与原理 ##### 1. 支持向量机(SVM) 支持向量机是一种监督学习模型,主要用于分类和回归分析。对于非线性回归任务,SVM通过引入核技巧(kernel trick)将原始低维空间中的非线性问题转换为高维空间中的线性问题,从而实现有效的非线性建模。 ##### 2. 核函数 核函数的选择直接影响到模型的性能。本程序内置了三种常用的核函数: - **线性核函数**:`K(x, y) = x'y` - **多项式核函数**:`K(x, y) = (x'y + 1)^d` - **径向基函数(RBF)**:`K(x, y) = exp(-γ|x - y|^2)` 其中RBF核函数被广泛应用于非线性问题中,因为它可以处理非常复杂的非线性关系。本程序默认使用的是RBF核函数,参数`D`用于控制高斯核函数的宽度。 ##### 3. 数据预处理 虽然程序本身没有直接涉及数据预处理的过程,但在实际应用中,对数据进行适当的预处理是非常重要的。常见的预处理步骤包括归一、缺失值处理等。 ##### 4. 模型参数 - **Epsilon**: ε-insensitive loss function的ε值,控制回归带宽。 - **C**: 松弛变量的惩罚系数,控制模型复杂度与过拟合的风险之间的平衡。 #### 三、程序实现细节 ##### 1. 函数输入与输出 - **输入**: - `X`: 输入特征矩阵,维度为(n, l),其中n是特征数量,l是样本数量。 - `Y`: 目标值向量,长度为l。 - `Epsilon`: 回归带宽。 - `C`: 松弛变量的惩罚系数。 - `D`: RBF核函数的参数。 - **输出**: - `Alpha1`: 正的拉格朗日乘子向量。 - `Alpha2`: 负的拉格朗日乘子向量。 - `Alpha`: 拉格朗日乘子向量。 - `Flag`: 标记向量,表示每个样本的类型。 - `B`: 偏置项。 ##### 2. 核心代码解析 程序首先计算所有样本间的核矩阵`K`,然后构建二次规划问题并求解得到拉格朗日乘子向量。根据拉格朗日乘子的值确定支持向量,并计算偏置项`B`。 - **核矩阵计算**:采用RBF核函数,通过`exp(-(sum((xi-xj).^2)/D))`计算任意两个样本之间的相似度。 - **二次规划**:构建目标函数和约束条件,使用`quadprog`函数求解最小问题。 - **支持向量识别**:根据拉格朗日乘子的大小判断每个样本是否为支持向量,并据此计算偏置项`B`。 #### 四、程序扩展与优 - **多核函数支持**:可以通过增加更多的核函数选项,提高程序的灵活性。 - **自动调参**:实现参数自动选择的功能,例如通过交叉验证选择最优的`Epsilon`和`C`值。 - **并行计算**:利用MATLAB的并行计算工具箱加速计算过程,特别是当样本量很大时。 #### 五、应用场景 该程序适用于需要进行非线性回归预测的场景,如经济预测、天气预报等领域。通过调整核函数和参数,可以有效应对各种类型的非线性问题。 ### 总结 本程序提供了一个支持向量机非线性回归的完整实现框架,通过灵活的核函数设置和参数调整,能够有效地处理非线性问题。对于需要进行回归预测的应用场景,这是一个非常实用且强大的工具。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值