- 博客(9)
- 收藏
- 关注
RSS订阅原创 2020-12-28
云计算与大数据：第六章P2P原理与实践P2P概述与概念P2P，即Peer-to-Peer的缩写，也称“点对点”或“端对端”，学术上常称为“对等计算”。P2P是一种以非集中化方式使用分布式资源来完成一些关键任务的系统和应用。P2P与目前网络中占据主导地位的客户/服务器体系架构相对应。它表示分布式计算中各进程之间是一种对等的关系。P2P的发展历程第一阶段，1999年至2000年左右，P2P技术由应用开发向学术研究发展。 当时P2P技术刚重返历史舞台，涌现出许多著名的P2P应用系统，但由于P2P存在安全
2020-12-28 10:58:04
84
1
原创 2020-12-28
MapReduce模型、大数据与数据挖掘、云计算的关系MapReduce模型、大数据与数据挖掘、云计算的关系1.基于MapReduce的算法是一类非常重要的大数据算法，但大数据算法不仅仅是MapReduce上的算法。2.云计算平台上的算法未必是面向大数据的。同样大数据算法也不全是云上的算法，大数据算法可以是基于单机、手机等低端设备。3.大数据的应用广泛，如数据的分析与挖掘、获取、清洗、查询、可视化等方面。其中数据分析与挖掘的商业价值较为明显。区分大数据和数据挖掘。...
2020-12-28 10:51:51
48
原创 2020-12-28
HBase和传统关系数据的区别其实说白了，这些就是事先没有认清楚互联网应用什么才是最重要的。从系统架构的角度来说，互联网应用更加看重系统性能以及伸缩性，而传统企业级应用都是比较看重数据完整性和数据安全性。那么我们就来说说互联网应用伸缩性这事儿.对于伸缩性这事儿，哥们儿我也写了几篇博文，想看的兄弟可以参考我以前的博文，对于web server,app server的伸缩性，我在这里先不说了，因为这部分的伸缩性相对来说比较容易一点，我主要来回顾一些一个慢慢变大的互联网应用如何应对数据库这一层的伸缩。首先刚开
2020-12-28 10:40:30
49
原创 2020-12-28
大数据云计算第四章——HBase知识RegionServer 其实是Hbase的服务，部署在一台物理服务器上，region有一点像关系型数据的分区，数据存放在region中，当然region下面还有很多结构，确切来说数据存放在memstore和hfile中。我们访问hbase的时候，先去hbase 系统表查找定位这条记录属于哪个region，然后定位到这个region属于哪个服务器，然后就到哪个服务器里面查找对应region中的数据。Point 1：HRegionServer一般和DataNode在同
2020-12-28 10:38:47
64
原创 2020-12-28
分布式计算、云计算与大数据第三章Socket概述与分类 Socket API最早作为Berkeley Unix操作系统的程序库，出现于20世纪80年代早期，用于提供IPC功能。现在所有主流操作系统都支持Socket API。Socket API是实现进程间通信的第一种编程设施。 Socket API已经成为IPC编程事实上的标准，高层IPC设施都是构建于Socket API之上的，即它们基于Socket API实现的。 对于响应时间要求较高或在有限资源平台上运行的应用来说，用Socket A
2020-12-28 10:33:43
133
原创 2020-12-28
第二章 分布式计算范型1、消息传递范型一个进程发送代表请求的消息，该消息被传送到接受者；接受者处理该请求，并发送一条应答消息。随后，该应答可能触发下一个请求，并导致下一个应答消息。如此不断反复传递消息，实现两个进程间的数据交换.基于该范型的开发工具有Socket应用程序接口（Socket API）和信息传递接口（Message Passing Interface，MPI）等2、客户-服务器范型该范型是网络应用中使用最多一种分布式计算范型，该模型将非对称角色分配给两个协作进程。其中，服务器进程扮演服
2020-12-28 10:32:20
127
原创 2020-12-28
云计算与大数据第一章总结一、什么是云计算？云计算是指计算能力和存储能力向互联网端的迁移和抽象：迁移是指计算和存储都不在本机甚至本地服务器而迁移到了互联网远端的服务器集群上，抽象是指最终用户无需关心真正的存储和计算发生在何处。通俗来说，云就是指计算能力没有边界，它的计算中心是有一堆服务器，像云一样不易记数。二、云计算的关键技术1、数据采集与预处理利用ETL（Extraction-Transformation-Loading)工具将分布的、异构数据源中的数据，如关系数据、平面数据文件等，抽取到临时中
2020-12-28 10:29:09
78
原创 2020-12-28
1.云计算来源：Google搜索引擎首先提出，并通过三篇论文为世人所知。2.云计算定义：动态扩展，通过网络将虚拟化资源作为服务提供。（Iaas,Paas,Saas）Iaas：提供硬件资源，AWS，网络服务，基础架构。Paas：提供服务引擎，接口运行平台。Saas：软件租用，使用状况。3.其他云分类：公有云、私有云、混合云。（分布式存储、分布式计算）4.大数据作用：可视化分析、数据挖掘算法、预测性分析、语音引擎、数据质量与管理。5.关键性技术：GFS、BigTable、Map-Redu
2020-12-28 10:27:40
134
原创 2020-10-14
云计算与大数据第二章2.1.1 大数据基础数据是指无法在可容忍的时间内用传统IT技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。这里传统的IT技术和软硬件工具是指单机计算模式和传统的数据分析算法。因此实现大数据的分析通常需要从两个方面来着手:①采用集群的方法来获取强大的数据分析能力;2.1.2数据生产方式变的自动化数据生产融入到每个人的日常生活图像、视频和音频数据所占的比例越来越大网络技术的发展为数据的生产提供了极大的方便云计算概念的出现进一步促进了大数据的发展服务器技术2
2020-10-14 14:48:23
438
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人