云计算概况

云计算

1.目标和本质

最初的目标是对资源的管理：计算、网络、存储资源的管理。

 

2.管数据中心就像配电脑

计算资源：

就说你要买台笔记本电脑吧，你是不是要关心这台电脑什么样的CPU啊？多大的内存啊？这两个我们称为计算资源。

 

网络资源：

这台电脑要能上网吧，

 

存储资源：

您可能还会问硬盘多大啊？原来硬盘都很小，10G之类的，后来500G，1T，2T的硬盘也不新鲜了。(1T是1024G)，这就是存储。

 

3. 管理的目标就是要达到两个方面的灵活性（云计算的弹性）

时间灵活性：

第一个方面就是想什么时候要就什么时候要，比如需要的时候一点就出来了，这个叫做时间灵活性。

 

空间灵活性：

第二个方面就是想要多少呢就有多少，比如需要一个很小很小的电脑，可以满足，比如需要一个特别大的空间，以云盘为例，似乎云盘给每个人分配的空间动不动就就很大很大，随时上传随时有空间，永远用不完，这个叫做空间灵活性。

 

4. 为了解决这个弹性的问题，经历了漫长时间的发展。

发展	时间灵活性		空间灵活性
	优点	缺点	优点	缺点
物理机	//	采购难慢，部署应用慢	//	需求有大有小，物理机不能灵活适应
虚拟化	即点即得，即创即销	人工配置复杂，耗时	可大可小	规模有限
云计算	算法的名字叫做调度(Scheduler)。通俗一点的说，就是有一个调度中心，几千台机器都在一个池子里面，无论用户需要多少CPU，内存，硬盘的虚拟电脑，调度中心会自动在大池子里面找一个能够满足用户需求的地方，把虚拟电脑启动起来做好配置，用户就直接能用了。这个阶段，我们称为池化，或者云化，到了这个阶段，才可以称为云计算，

 

5.云计算的分类（IaaS）

私有云：

私有云就是把虚拟化和云化的这套软件部署在别人的数据中心里面，使用私有云的用户往往很有钱，自己买地建机房，自己买服务器，然后让云厂商部署在自己这里

 

公有云：

所谓公有云就是虚拟化和云化软件部署在云厂商自己数据中心里面的，用户不需要很大的投入，只要注册一个账号，就能在一个网页上点一下创建一台虚拟电脑，例如AWS也即亚马逊的公有云，例如国内的阿里云，腾讯云，网易云等。

 

6. PaaS

自己的应用自动安装：

平台自动化安装应用，将自己的配置信息融入到自动化的安装过程中方可。

 

通用的应用不用安装：

所谓通用的应用，一般指一些复杂性比较高，但是大家都在用的，例如数据库。

 

总结：

要么是自动部署，要么是不用部署，总的来说就是应用层你也要少操心，这就是PaaS层的重要作用。

 

7.云计算管理应用

脚本解决部署的问题，但环境具有多样性，复杂性，脚本无法做到真正的自适应，

而容器是能更好的解决这个问题的。

 

8. 容器

容器是 Container，Container另一个意思是集装箱，其实容器的思想就是要变成软件交付的集装箱。集装箱的特点，一是封装，二是标准。

 

 

没有集装箱的时代：

 

有集装箱的时代：

 

 

9.大数据类型

结构化的数据：

有固定格式和有限长度的数据。例如填的表格就是结构化的数据，国籍：中华人民共和国，民族：汉，性别：男，这都叫结构化数据。

 

非结构化的数据：

不定长，无固定格式的数据

例如网页，有时候非常长，有时候几句话就没了，例如语音，视频都是非结构化的数据。

 

半结构化的数据：

一些xml或者html的格式的。

 

数据的应用：

分这四个步骤：数据，信息，知识，智慧。

 

10.数据的处理分几个步骤，完成了才最后会有智慧。

数据的收集：

抓取或者爬取

推送

 

数据的传输：

通过队列方式进行

 

数据的存储：

现在数据就是金钱，掌握了数据就相当于掌握了钱。

 

数据的处理和分析：

上面存储的数据是原始数据，原始数据多是杂乱无章的，有很多垃圾数据在里面，因而需要清洗和过滤，得到一些高质量的数据。对于高质量的数据，就可以进行分析，从而对数据进行分类，或者发现数据之间的相互关系，得到知识。

 

数据的检索和挖掘：

通过各种算法挖掘数据中的关系，形成知识库，十分重要。

 

 

 

11.齐力

数据收集：

需要多台机器组成网络爬虫系统，每台机器下载一部分，同时工作，才能在有限的时间内，将海量的网页下载完毕。

 

数据的传输：

一个内存里面的队列肯定会被大量的数据挤爆掉，于是就产生了基于硬盘的分布式队列，这样队列可以多台机器同时传输，随你数据量多大，只要我的队列足够多，管道足够粗，就能够撑得住。

 

对于数据的存储：

一台机器的文件系统肯定是放不下了，所以需要一个很大的分布式文件系统来做这件事情，把多台机器的硬盘打成一块大的文件系统。

 

 

再如数据的分析：

可能需要对大量的数据做分解，统计，汇总，一台机器肯定搞不定，处理到猴年马月也分析不完，于是就有分布式计算的方法，将大量的数据分成小份，每台机器处理一小份，多台机器并行处理，很快就能算完

 

所以说大数据平台，什么叫做大数据，说白了就是一台机器干不完，大家一起干。