送秋三十五_-CSDN博客

原创 2020-12-19

云计算与大数据的总结1）大数据主要侧重于数据的处理，流数据、批量数据、图计算等。在数据处理过程中，批量的数据处理的代表工具是Hadoop，流数据的数据处理代表的是Storm技术，而图计算这种密集型的代表是Spark，Spark对于迭代算法的处理很有效。2）无论是Hadoop还是Spark的架构原理都侧重于分为三部分：资源的管理、服务计算状态的监控、服务的运行。把数据处理、数据处理监控和资源管理分开，可以更容易地进行分布式系统的扩展。3）主要从数据的存储、数据的处理和数据的应用三个方面进行介绍，每一个方

2020-12-19 09:32:29 88 1

原创 2020-12-17

HadoopHadoop框架中最核心的设计就是：MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。MapReduce从它名字上来看就大致可以看出个缘由，两个动词Map和Reduce，“Map（展开）”就是将一个任务分解成为多个任务，“Reduce”就

2020-12-17 18:25:08 65

原创 2020-12-02

Hadoop（1）概念：Hadoop是Apache软件基金会旗下的一个分布式计算平台，为用户提供了系统底层细节透明的开源分部式基础架构。Hadoop被公认为行业大数据标准开源软件Hadoop是基于Java语言开发的，具有很好的跨平台性。（2）Hadoop的核心是分布式文件系统HDFS和MapReduce（3）Hadoop的特点高可靠性、高效性、高可扩展性、成本低、运行在Linux平台上、支持多种编程语言（4）Hadoop的三大核心技术a：HDFS（分布式文件系统、可以运行在廉价商用服务器集群

2020-12-02 10:10:21 125

原创 2020-11-25

MapReduce的基本模型和处理思想：三个层面上的基本构思1.如果对付大数据处理：分而治之对相互之间不具有计算依赖关系的大数据，实现并行最自然的办法就是采取分而治之的策略。2.上升到抽象模型：Mapper与ReduceMPI等并行计算方法缺少高层并行编程模型，程序员需要自行指定存储，计算，分发等任务，为了克服这一缺陷，MapReduce借鉴了Lisp函数式语言中的思想，用Map和Reduce两个函数提供了高层的并发编程模型抽象。3.上升到架构：统一架构，为程序员隐藏系统层细节MPI等并行计算

2020-11-25 10:09:13 214

原创 2020-11-18

虚拟化技术通过对云计算数据中心提高资源利用率和用户QOS的需求进行分析，围绕其中的关键技术虚拟化技术，从服务器虚拟化、网络虚拟化、存储虚拟化三个方面进行总结，针对云计算平台建立其可用性模型，分析了IAAS，PAAS，SAAS 三种云服务模式的可用性计算方法，最后通过实验验证了云计算可用性参考模型适用于常见的云服务模式。1.概述目前数据中心的规模迅速发展，根据Netcraft服务器数量报告，Akamai Technology达到10.5万台，OVH达到10万台，Google根据能耗估计约90万台。快速发

2020-11-18 10:01:28 174 1

原创 2020-11-04

云计算特点云计算，是一种基于因特网的超级计算模式，在远程的数据中心里成千上万台电脑和服务器连接成的一片电脑云，用户可以通过电脑、手机等方式接入数据中心，按自己的需求进行运算。是IT基础设施的交付和使用模式，是通过网络以按需、易扩展的方式获得所需的资源。其基本原理：通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行更与互联网相似。这使得企业能够将资源切换到所需要的应用上，根据需求访问计算机及储存系统。它好比是从单台发电机发电模式转向了电网集中供电的模式。它意味着计算能力

2020-11-04 16:54:06 101

原创 2020-10-28

云计算与大数据的关系从技术上来看，大数据和云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。　　云时代的来临，大数据的关注度也越来越高，分析师团队认为大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大

2020-10-28 10:02:55 151

原创 2020-10-05

云计算发展现状云计算服务不断占领着IT大舞台，使得传统的IT逐渐失去了原有的关联性。为了跟上云计算服务发展的步伐，使企业保有更强的竞争力，大量的企业开始转型进入云端。这里有五个技巧帮助企业从传统IT成功转型成流程驱动的组织。随着越来越多的企业采用云计算服务，也越来越多的服务厂商建立密切关系，过去的一些可靠的云计算服务已经不能满足他们的需求了。旧模式谁来决定使用即服务产品缺乏清晰的所有权，以至于难以跨越传统IT塔式结构。云计算服务团队需要了解相关的流程，而不技术，如基础设施或应用程序，在流程驱动的IT组

2020-10-21 11:30:34 83

原创 2020-09-22

选用云计算服务的三大条件## 标题云架构数据中心具有多种优点，逐渐成为企业应用的大趋势，企业选择采用云架构数据中心，应考虑服务提供商是否符合以下三大要点。　　首先，云架构数据中心服务提供商必须具有优秀的云端骨干网络，确保数据传输的顺畅及安全。如第一线集团，既可提供MPLS专线网络服务，又可同时提供云架构数据中心服务。对于许多跨地域的企业来说，除需要数据服务之外，更需要解决与分布世界各地的分支机构通信的问题，故稳定的网络质量一定是需要重点考量的。　　其次是云架构数据中心是否有足够的弹性，是否可以让用户随

2020-10-21 11:29:16 46

原创 2020-09-15

云计算的服务方式## 标题云服务提供商，为中小企业搭建信息化所需要的所有网络基础设施及软件、硬件运作平台，并负责所有前期的实施、后期的维护等一系列服务，企业无需购买软硬件、建设机房、招聘IT人员，只需前期支付一次性的项目实施费和定期的软件租赁服务费，即可通过互联网享用信息系统。云服务-更优美的方式服务提供商通过有效的技术措施，可以保证每家企业数据的安全性和保密性。企业采用云服务模式在效果上与企业自建信息系统基本没有区别，但节省了大量用于购买IT产品、技术和维护运行的资金，且像打开自来水龙头就能用水一

2020-10-21 11:28:08 49

原创 2020-10-21

云计算的主要作用## 标题有很多对云服务的概念不是很清楚，我们在这里着重说明。当今社会我们用电脑处理文档、存储资料，通过电子邮件或U盘与他人分享信息。如果电脑硬盘坏了，我们会因为资料丢失而束手无策。而在“云计算”时代，“云”会替我们做存储和计算的工作。届时，我们只需要一台能上网的手机，一旦有需要，我们可以在任何地点用手机快速地找到我们需要的资料并处理他们。我们再也不用担心资料丢失。有人作了一个简单的描述：它足够智能，能够根据您的位置、时间、偏好等信息，实时地对您的需求做出预期。在这一全新的模式下，信息的

2020-10-21 11:26:50 88

原创 2020-10-12

云计算概述“云”实质上就是一个网络，狭义上讲，云计算就是一种提供资源的网络，使用者可以随时获取“云”上的资源，按需求量使用，并且可以看成是无限扩展的，只要按使用量付费就可以，“云”就像自来水厂一样，我们可以随时接水，并且不限量，按照自己家的用水量，付费给自来水厂就可以。[2]从广义上说，云计算是与信息技术、软件、互联网相关的一种服务，这种计算资源共享池叫做“云”，云计算把许多计算资源集合起来，通过软件实现自动化管理，只需要很少的人参与，就能让资源被快速提供。也就是说，计算能力作为一种商品，可以在互联网上

2020-10-12 20:34:02 257

原创 2020-09-30

#标题# 云计算的特点##1、虚拟化技术。必须强调的是，虚拟化突破了时间、空间的界限，是云计算最为显著的特点，虚拟化技术包括应用虚拟和资源虚拟两种。众所周知，物理平台与应用部署的环境在空间上是没有任何联系的，正是通过虚拟平台对相应终端操作完成数据备份、迁移和扩展等。[5]2、动态可扩展。云计算具有高效的运算能力，在原有服务器基础上增加云计算功能能够使计算速度迅速提高，最终实现动态扩展虚拟化的层次达到对应用进行扩展的目的。[5]3、按需部署。计算机包含了许多应用、程序软件等，不同的应用对应的数据资

2020-10-07 10:12:07 652

weixin_50952241的博客