一、云计算
云计算的概念最早是 2006 年由 Google 提出的。
1、云计算定义
云计算是一种可以通过网络方便地接入共享资源池,按需获取计算资源的服务模型。
资源包括:网络、服务器、存储、应用、服务等
共享资源池中的资源可以通过较少的管理代价和简单业务交互过程,而快速部署和发布。
2、云计算特点
按需提供服务:
以服务的形式为用户提供应用程序、数据存储、基础设施等资源,根据用户需求自动分配资源。
宽带网络访问:
用户可以利用各种终端设备随时随地通过互联网访问云计算服务
资源池化:
资源以共享资源池的方式统一管理,利用虚拟化技术,将资源分享给不同的用户
高可伸缩性:
服务规模可快速伸缩,以自动适应业务负载的动态变化,避免资源浪费或过载
可量化的服务:
通过监控软件监控用户的使用情况,根据资源的使用情况对服务计费
超大规模的集群
服务比较廉价
3、云计算类型
(按服务类型划分)
基础设施即服务 IaaS(Infrastructure as a Service)
位于云计算架构最底层,利用虚拟化技术将硬件设备等基础资源封装成服务供用户使用,典型的虚拟化产品有 VMware vShpere、Hyper-V 等。
最大的优势是允许用户动态申请或释放节点,按使用量和使用时间计费。
用户相当于在使用裸机,可用它运行 Windows、Linux、Web 容器、DB 服务器等等。
平台即服务 PaaS(Platform as a Service)
更进一步对资源进行抽象,提供给用户应用程序的应用环境,用于可以在 Paas 上运行、开发、托管自己的应用程序,不需自己维护服务器,只需上传应用程序即可。
PaaS 自身负责资源动态扩容、容错灾备。
软件即服务 SaaS(Software as a Service)
针对性更强,将某些特定应用软件功能封装成服务。
如 Google Docs
目前,国内比较出名的云计算提供商有:阿里云、百度云、华为云等。
二、大数据
大数据 big data,相对云计算,大数据显得朴实多了,通俗直白。
云计算对普通人来说确实像云一样飘渺,而大数据则更加实际,是确确实实跟人们的生活息息相关的。
大数据的官方定义,指的是所涉及的数据集规模已经超过了传统数据库软件获取、存储、管理和分析的能力。
但是对于多大的数据量能被认为是大数据呢?这个问题并没有明确的答案。因为这个标准跟不同的行业有关系,也会随着技术的不断发展而不断变化。通常是从 TB 级别到 PB 级别甚至达到 ZB 级别。
但是,大数据通常有三个特征:
数据量庞大 Volume
数据种类多 Variety
数据生成和处理的速度快 Velocity
三、Hadoop
【大数据开发学习资料领取方式】:加入大数据学习交流群957205962,点击加入群聊,私信管理员即可免费领取
Hadoop 是云计算技术的一种实现方式,是云计算 PaaS 层技术的代表,以一种可靠、高效、可扩展的方式存储、管理大数据。
它提供了一个分布式存储和计算的软件框架,可以把它称为一个「大数据管理平台」。
它可以基于分布式存储进行分布式计算,横向扩展能力非常优秀,所以非常适合并能够胜任存储、管理、挖掘大数据的任务。
我们平时所听到的 Storm、Spark、Hive、HBase、Pig、Sqoop … 等等一些高大上的名词,都是运行在 Hadoop 框架上。
四、BI
Business Intelligence 商业智能,是一个统称,指的是用于支持制定业务决策的技能、流程、技术、应用和实践。
通过对当前数据和历史数据进行分析,结合公司业务,辅助决策者制定未来的业务决策,有点类似于数据分析。