赵淦森博士的讲座分享整理No.32

最新推荐文章于 2020-07-07 09:35:42 发布

一名叫大蕉的程序员

最新推荐文章于 2020-07-07 09:35:42 发布

阅读量220

点赞数

本文链接：https://blog.csdn.net/u010459192/article/details/99737934

版权

我是小蕉。

先稍微介绍一下赵老师哈。

赵淦(gan)森，计算机安全博士，毕业于英国肯特大学。在英国期间曾任英国Nexor公司的兼职高级安全技术顾问、甲骨文英国(Oracle UK）终身高级工程师。现任华南师范大学计算机学院教授、广东省服务计算工程中心副主任。

本篇博客主要整理赵老师于2017年7月20日的讲座分享，主题是《重新认识人工智能、云与大数据》，觉得很有价值，所以记录下来并分享给大家。

第一部分聊聊云计算

什么是云计算?云计算主要解决什么问题？云计算其实主要解决下面三个问题。

第一个就是大资源管理。

非常多非常多的物理资源，要如何把它们管理起来？如果说只有十几台或者几十台机器，那么一个运维团队可能可以日以继夜非常努力去保证他们的稳定性。但是现在一般的集群少则几千台，甚至google的资源有几百万台，需要怎么去管理呢？

而且每台机器都是很不可靠，资源很小很小很局限的。同一个软件要分发到这么多机器，要怎么提高效率？这么多机器的资源如何集合，如何维护，都是一个很大的需要去解决的问题。

一般来说如何管理呢？

首先要做的两件事情就是，资源与能力分离以及标准化。

拿移动硬盘距离，硬盘里的一部电影就是资源，资源要怎么提供给我们呢？只能把硬盘直接拿到我们自己的电脑上，然后再进行拷贝。在这里资源和能力是强绑定的，完全不可分的，这就不太可能把资源管理起来了，所以第一件事就是要把资源和能力给区分开，现在的方式是通过网络和资源管理软件来实施。

说到网络，有很重要的东西就是SDN网络，传统意义中一个子网可能最多就支持1024个IP，那么如果几个集群有上万上百万的节点，要如何把它们连接起来，SDN是一个还不错的解决方案。

标准化又是怎么一回事呢？这么多规格的资源，怎么统一管理，最好的一种方案就是进行标准化。每个机器都进行标准化，提供一模一样的服务方式，这样子在管理的时候，就能很容易进行资源和能力复制了。

第二个问题是大能力构建。

有了这么多资源，要如何把它们应用起来，传统的处理方式都是单机单节点模式，那么遇到一些非常大规模的计算问题的时候，就会显得非常乏力，特别是现在互联网这么多数据，已经达到了ZB级别，而且还在不断爆炸。

如何在可以接受的时间范围去处理这这么大量数据，已经成了一个很大的问题。需要我们去设计一些资源，一些系统来进行这么大数据量处理的能力的构建。

现在比较主流的方式就是分布式计算。比较典型的有两种，一种是负载均衡，一种是MapReduce。负载均衡可以解决机器不可用的稳定性问题以及服务的横向拓展问题，MapReduce可以进行计算能力的分布式。有了这两个框架，可以实现绝大多数的大能力构建。

第三个问题是大能力交付。

资源管理起来了，大计算能力也构建起来了，如何把这些能力交付给目标用户，也是一个很大的问题。光有这么大能力，只能管理员自己使用，这不是云想解决的问题。云最重要的作用就是把这么大的能力，无差别或者有差别地，提供给需要这些能力的用户。

怎么解决多租户问题，思路是这样的。首先每个租户的资源都是非独占的，不使用的时候要释放资源。做到了每个租户非独占之后，才能做到资源的统筹管理。所有的资源都是虚拟的，进行池化，所以就可以一次性提供超过一台机器极限的很大资源。

上面就是云计算解决的问题。

云计算中有一个很重要很重要的解决方案就是虚拟化。目前比较主流的技术就是虚拟机和Docker技术了。虚拟机主要作用就是是在宿主OS上面虚拟出自己的OS，无论在什么物理环境上，都可以虚拟出需要的OS。而Docker则是使用宿主主机和主机的OS，使用Docker引擎进行资源归一化，然后在上面虚拟出很多的app。

虚拟化有什么好处呢？

1、资源分割。

一台主机可以初始化N个虚拟机，提供给很多的用户使用。

2、资源隔离。

不同虚拟机和应用之间，是完全隔离的，一个用户把环境搞崩了不会影响到其他的用户。

3、同质化。

经过了虚拟化，所有的资源对于用户和云平台来说都是同质的，无差别的可以提供同等服务的机器。

4、运维自动化。

同质化了之后，运维自动化也开始变得可能起来，一个更新可以通过工具，批量地发布到很多很多的机器上。

5、交付自动化。

所有资源都进行虚拟化了，那么就可以使用固定的程序进行资源和能力交付，这能极大地较少运营和销售人员的时间。