Vikn_-CSDN博客

原创数据中心的发展历史

数据中心发展雏形——ENIACENIAC是electronic numerical integrator and computer电子数字积分计算机的简称，于1946年专为美国弹道研究实验室存储火力表而研制，参加研制工作的是以宾夕法尼亚大学莫尔电机工程学院的莫西利和埃克特为首的研制小组。ENIAC也是有不少缺点的：除了体积大，耗电多以外，由于机器运行产生的高热量使电子管很容易损坏。只要有一个电子管损坏，整台机器就不能正常运转。数据中心虚拟化技术商业化——TRADIC首个晶体管计算机TRADIC是贝

2020-12-18 12:23:52 357

原创 MapReduce

一、MapReduce是什么MapReduce是一种分布式计算框架，以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。主要用于搜索领域，解决海量数据的计算问题。MR有两个阶段组成：Map和Reduce，用户只需实现map()和reduce()两个函数，即可实现分布式计算。二、MapReduce做什么1.MapReduce框架由Map和Reduce组成。2.Map()负责把一个大的block块进行切片并计算。3.Reduce() 负责把Map()切片的数据进行汇总、计算。三、M

2020-12-01 18:06:00 112

原创 HDFS的存储过程

随着大数据时代的到来,第三次信息化浪潮已经开幕了(15年一次),在第四次信息化浪潮的到来之前,各种新兴企业的兴起也愈发迅速,大数据HADOOP体系的技术也愈发成熟HDFS存储过程有客户端发送提交请求,首先与namenode进行交互,然后namenode与datanode实时发送心跳(即ping),然后将文件切分成block进行上传,但是其实HDFS默认有三个机架,这里就先不讲机架感知策略,只要知道机架感知是存放副本的就行.上传block时,是将以比block的单元进行传输的(即chunk---最小

2020-12-01 18:02:38 1176

原创云计算与大数据─Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。[1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HD

2020-11-27 22:06:00 469 1

原创虚拟化技术

计算虚拟化主操作系统：运行在真实机器上客户操作系统：运行在主操作系统之上Hypervisor：管理和调度各个客户操作系统，为客户操作系统提供了一个硬件的接口层面类型1：运行在真实机器上，例如VMWARE类型2：运行在主操作系统上，例如MS Virtual PC类型0:1和2兼有服务器虚拟化：指令集的翻译（二进制翻译、缓存）I/O设备的仿真：让虚拟机操作系统访问不支持的硬件保护处理器的数据结构：影子处理器核心问题：内存的保护管理半虚拟化：修改虚拟机操作系统，不能做的操作就不要做影.

2020-11-27 21:58:32 1236 1

原创数据可视化

什么是数据可视化科学可视化（Scientific Visualization）、信息可视化（Information Visualization）和可视分析学（Visual Analytics）三个学科方向通常被看成可视化的三个主要分支。而将这三个分支整合在一起形成的新学科 “数据可视化”，这是可视化研究领域的新起点。——《数据可视化》广义的数据可视化涉及信息技术、自然科学、统计分析、图形学、交互、地理信息等多种学科。科学可视化科学可视化（Scientific Visualization）是科学之

2020-11-03 20:19:32 373

原创云计算三种服务模式

一、SaaS模式作用通过SaaS这种模式，用户只要接上网络，并通过浏览器，就能直接使用在云端上运行的应用，而不需要顾虑类似安装等琐事，并且免去初期高昂的软硬件投入。SaaS主要面对的是普通的用户。产品主要产品包括：Salesforce Sales Cloud，Google Apps，Zimbra，Zoho和IBM Lotus Live等。功能谈到SaaS的功能，也可以认为是要实现SaaS服务，供应商需要完成那些功能?主要有四个方面：随时随地访问：在任何时候或者任何地点，只要接上网络，用户就能访

2020-10-27 00:26:53 674

原创云计算与大数据

(云计算与大数据)云计算（cloud computing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算能力也可作为一

2020-10-07 22:03:49 381

Vikn_的博客