努力的吃抹茶-CSDN博客

原创 2020-12-24

一、数据中心用于存放计算机系统和与之配套的网络，存储等设备的综合系统，数据中心需要具备冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置二、数据中心发展历程1、巨型机时代2、微型计算机/pc时代3、互联网时代4、云计算、大数据时代三、组成1、基础设施2、硬件设施3、基础软件4、管理支撑软件四、发展趋势1、设备小型化2、管理智能3、集中化建设，可弹性扩展4、数据的价值凸显5、绿色节能化五、数据中心的基本单元——服务器服务器是指运行操作系统数据库系统，web系统等软

2020-12-24 23:34:01 191

原创 2020-12-23

hadoop分布式计算系统1、主要用于对大于1TB的海量数据的处理2、hadoop采用java语言开发，是对google的map reduce核心技术的开源实现3、hadoop的核心模块包括系统hdfs和分布式计算框架mapreduce，这一结构实现了计算和存储的高度耦合，十分有利于面向数据的系统架构，因此已成为大数据技术领域的事实标准4、文件系统是hadoop系统的重要组成部分，也是hadoop实现自动并行框架的基础，hadoop的文件系统为HDFS5、hdfs原型为gfs6、gfs为分布式系

2020-12-23 23:07:51 268 1

原创 2020-12-19

数据可视化一、目的可以直观表现出数据的规律二、特征易懂性、必然性、片面性、专业性三、类型科学可视化:探索如何以几何、拓扑和形状特征来呈现数据中蕴含的规律信息可视化:降准可视分析学:将可视化与分析结合形成的四、流程数据采集、数据处理和变换、可视化映射、用户感知、知识灵感大数据安全信息安全的发展历程1、物理安全2、网络安全3、应用安全4、数据安全虚拟化技术一、应用在iaas层二、虚拟化的描述方面1、对象2、过程3、结果三、优势1、提高资源利用率2、提供相应隔离、

2020-12-19 21:58:06 123 1

原创 2020-12-18

大数据处理一、数据采集1、系统日志采集2、网络数据采集3、数据库采集二、数据质量评估标准1、完整性2、一致性3、准确性4、及时性三、影响因素1、信息:元数据对数据的描述及理解、源规格统不统一2、技术:技术过不过关3、流程:处理过程中4、管理:人员的管理方面四、数据清洗1、脏数据分类1>残缺数据2>噪声数据3>冗余数据2、处理残缺数据1>忽略整个元祖2>填写残缺值（适用于数据量小且缺少时）3、处理噪声数据1>分箱:分为（等深、

2020-12-18 18:57:15 229 1

原创 2020-12-17

一、大数据表现形态1、复杂性2、实时性3、数据的不确定性二、大数据应用1、个人2、企业3、政府三、预处理技术1、数据采集:ETL工具2、数据存取:SQL等3、基础架构支持4、计算结果展现四、数据存储分类1、结构化2、半结构化3、非结构化五、什么是大数据?答:大数据技术是以数据为本质的新一代革命性的信息技术，在数据挖潜过程中，能够带动理念、模式、技术及应用实践的创新。本书系统性地介绍了大数据的概念、发展历程、市场价值、大数据相关技术，以及大数据对中国信息化建设、智慧城市、广

2020-12-17 18:15:26 509

原创 2020-11-26

大数据时代的变革:1、时代变革2、经济变革（最大变化）3、个人生活方式变化大数据特征1、数据类型繁多：对数据的处理能力提出了更高的要求，例如网络日志、音频、视频、图片、地理位置信息等等多类型的数据。2、处理速度快和时效性要求高：是区分于传统的数据挖掘，也这是大数据最显著的特征。3、数据价值密度相对较低：随着物联网的广泛应用，无处不在的信息感知和信息海量，但是价值密度却较低。大数据时代亟待解决的难题是：如何通过强大的机器算法可以更迅速地完成数据的价值“提纯”。大数据的3ssize（大小）、s

2020-11-26 21:37:20 508

原创 2020-11-25

GFS1:将整个系统的节点分为三类:客户端、主服务器（大脑，负责整个文件系统的管理，是GFS的管理节点，逻辑上有一个保存系统的元数据）、数据块服务器。Saas关键技术——多租户技术（软件层）技术模式:1、用户可以使用按需定制的软件服务2、用户通过浏览器访问所需的服务承载平台:1、物理资源2、iaas3、paas平台大数据概述知识图谱:知识图谱(Knowledge Graph)，在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化

2020-11-25 10:04:27 209

原创 2020-11-24

1、虚拟化:将物理资源进行一个划分，根据不同需求进行重新规划以达到最大利用率的思路，简化管理。目的:将多台服务器的应用整合到一台服务器上的多台虚拟机上运行。分类:1、服务器虚拟化服务器虚拟化能够通过区分资源的优先次序，并随时随地能将服务器资源分配给最需要它们的工作负载来简化管理和提高效率，从而减少为单个工作负载峰值而储备的资源。通过服务器虚拟化技术，用户可以动态启用虚拟服务器（又叫虚拟机），每个服务器实际上可以让操作系统（以及在上面运行的任何应用程序）误以为虚拟机就是实际硬件。运行多个虚拟机还可以充分发挥

2020-11-24 11:29:28 105

原创 2020-11-21

计算机体系结构发展时代的变革:个人计算机变革—>互联网变革—>云计算变革IaaS:IaaS有2种类型的服务，公共服务的目的就是让不同规模业务的消费者用租赁的模式获得服务。一些公共云服务对有信用卡按使用付费的人开放。其他公共云服务则使用合同方式，并给购买者提供更高等级的服务；与此相反，在公司的防火墙内提供私有云服务，使IT管理能够为员工和合作伙伴提供一种自助服务门户，轻松访问核准的服务。以上两种模式的特点主要是：租赁、自助服务、动态缩放、服务等级、许可使用、计量。IaaS关键支

2020-11-21 10:14:01 135 1

原创 2020-11-19

2006年8月google首次提出云计算这个词，依赖于网络，云计算是对实现云计算模式所需要的所有技术的总称。它的特点有:1、资源地弹性可扩张2、按需提供资源服务3、网络化的资源接入4、虚拟化5、提高可靠性和安全性云计算的技术分类1、按运营模式分为:公有云（企业/机构利用外部云为企业/机构外的用户服务，即企业/机构将云服务外包给公共云的提供商。这可以减少构建云计算设施的成本。），私有云（通常由企业/机构自己拥有，特定的云服务功能不直接对外开放。），混合云（包含私有云和公共云的混合应用。保证在通过外包减少成本的

2020-11-19 09:54:10 89

m0_52645339的博客