wt842661852-CSDN博客

原创 2020-12-16

分布式计算随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。 1 基本信息 ▪ 定义 ▪ 网格计算 ▪ 工作原理 ▪ BOINC分布式计算平台 ▪ 分布式计算在中国 2 意义格局 ▪ 分布式计算与人类 ▪ 分布式计算格局 ▪ BOINC一统大局 3 安全性 ▪ 计算机上的隐私数据 ▪ 个人计算机的寿命基本信息定义广义定义研究如何把一

2020-12-27 23:07:08 127

原创 2020-12-23

数据中心数据中心是全球协作的特定设备网络，用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。在今后的发展中，数据中心也将会成为企业竞争的资产，商业模式也会因此发生改变。随着数据中心应用的广泛化，人工智能、网络安全等也相继出现，更多的用户都被带到了网络和手机的应用中。随着计算机和数据量的增多，人们也可以通过不断学习积累提升自身的能力，是迈向信息化时代的重要标志。 1 概述 2 价值 3 常见故障 4 故障处理 5 发展前景 6 冷却技术 7 应用概述编辑数据中心是全球协作的特定

2020-12-27 23:05:56 154

原创 20201209

“Hadoop”采用Java语言开发。 Hadoop的核心模块包括HDFS和分布式计算框架MapReduce。 MPI是计算机与存储分离，对于计算密集型的应用表现良好，但对于处理TB级数据密集型应用由于网络数据传输速度慢，MPI的性能会降低。 Hadoop是计算向存储迁移。 Hadoop系统实现，对大数据的自动并行处理，是一种数据式并行。文件系统是Hadoop系统的重要组成部分，也是Hadoop实现自动并行框架的基础，Hadoop文件系统成为HDFS。 HDFS文件系统的原型是GFS。 GFS为分布式结构

2020-12-17 18:20:16 162

原创 20201216

数据中心：是用于存放计算机系统和与之配套的网络，存储等设备的综合系统。需要具备冗余的数据通信。数据中心发展历程：第一阶段：巨型机时代，数据中心的鼻祖，大型机ENIAC 第二阶段：微型计算机阶段第三阶段：互联网时代第四阶段：云计算大数据时代应用系统是数据中心的服务器核心数据中心的组成： 1、基础设施：机房、装修、供电、散热、布线、安防等部分 2、硬件设施：机柜、服务器、网络设备、网络安全设备等 3、基础软件：操作系统、数据库软件、防病毒软件等 4、管理支持软件：机房管理软件、集群管理软件，云平台

2020-12-17 18:19:12 198

原创云计算与大数据技术应用10.21数据挖掘

邮箱系统如何分辨一封Email是否属于垃圾邮件？这应该属于文本挖掘的范畴，通常会采用朴素贝叶斯的方法进行判别。它的主要原理是，根据邮件正文中的单词，是否经常出现在垃圾邮件中，进行判断。例如，如果一份邮件的正文中包含“报销”、“发票”、“促销”等词汇时，该邮件被判定为垃圾邮件的概率将会比较大。一般来说，判断邮件是否属于垃圾邮件，应该包含以下几个步骤。第一，把邮件正文拆解成单词组合，假设某篇邮件包含100个单词。第二，根据贝叶斯条件概率，计算一封已经出现了这100个单词的邮件，属于垃圾邮件的概率和正常邮件

2020-10-27 21:47:45 271

原创云计算与大数据技术应用 9.9

云计算与大数据技术应用 9.9 九月九日上午第二节上杨老师的云计算与大数据技术应用杨老师讲到云计算的定义，最权威的是维基百科中的定义：云计算是一种动态扩展的计算模式通过计算机网络将虚拟化的资源作为服务提供给用户。谷歌：所有的计算和应用放置在“云”中，终端设备不需要安装任何软件，通过互联网来分享程序和服务。微软：以“云+端”计算将计算资源分散分布，部分自远方在云上，部分资源放在用户终端，部分资源放在合作伙伴处，最终由用户选择合理的计算资源。美国联邦云计算战略报告定义四种云分别为：公有云、私有云

2020-10-27 21:27:42 240

原创云计算与大数据技术应用 9.17

云计算技术分为：虚拟化技术、海量数据管理技术、并行运算技术、海量存储技术、分布式存储技术。虚拟化技术帮助用户节约成本，同时提高软硬件开发效率，为用户的使用提供更多的便利。虚拟化技术是模拟真正的计算机，用户在使用虚拟化技术时，除了不能物理接触外，其他都和使用物理计算机没有任何区别。虚拟化技术可以实现大容量，高负载或高流量设备的多用户共享，每个用户可以分配一部分独立的、相互不受影响的资源。虚拟化分类：网络虚拟化、存储虚拟化、服务器虚拟化、操作系统虚拟化、服务虚拟化、桌面虚拟化、应用虚拟化、用户体验虚

2020-10-27 21:27:28 363

原创云计算与大数据技术应用2020.10.8

（1）概念： Hadoop是Apache软件基金会旗下的一个分布式计算平台，为用户提供了系统底层细节透明的开源分部式基础架构。Hadoop被公认为行业大数据标准开源软件 Hadoop是基于Java语言开发的，具有很好的跨平台性。（2）Hadoop的核心是分布式文件系统HDFS和MapReduce （3）Hadoop的特点高可靠性、高效性、高可扩展性、成本低、运行在Linux平台上、支持多种编程语言（4）Hadoop的三大核心技术 a：HDFS（分布式文件系统、可以运行在廉价商用服务器集群上、低成本高可

2020-10-27 21:27:09 328

原创云计算与大数据技术应用2020.10.15

HDFS 1.HDFS的相关概念 HDFS基本存储单元—Block（数据块）默认为64MB。每个块作为独立存储单元。 HDFS主要组件的功能在这里插入图片描述 HDFS的命名空间包含目录、文件、块 2.HDFS数据复制 NameNode全权管理数据块的复制，它周期性的从集群中的每个Datanode接收心跳信号和块状态报告。接收到心跳信号意味着该Datanode节点工作正常。块状态报告包含了一个该Datanode上所有数据块的列表数据块（block）复制：（1）NameNode发现部分文件的Block数

2020-10-27 21:26:55 254

原创云计算与大数据技术应用2020.10.21

目前，大数据领域每年都会涌现出大量新的技术，成为大数据获取、存储、处理分析或可视化的有效手段。大数据技术能够将大规模数据中隐藏的信息和知识挖掘出来，为人类社会经济活动提供依据，提高各个领域的运行效率，甚至整个社会经济的集约化程度。 1大数据生命周期底层是基础设施，涵盖计算资源、内存与存储和网络互联，具体表现为计算节点、集群、机柜和数据中心。在此之上是数据存储和管理，包括文件系统、数据库和类似YARN的资源管理系统。然后是计算处理层，如hadoop、MapReduce和Spark，以及在此之上的各种不同计算

2020-10-27 21:26:33 1318

wt842661852的博客