kathyaier-CSDN博客

原创 huggingface-BertModel/BertTokenizer

1. 模块导入from transformers import BertTokenizer, BertModel2. 定义模型model = BertModel.from_pretrained("bert-base-uncased",output_hidden_states=True)参数output_hidden_states=True，模型将输出每层encoder的句子隐层。3. tokenizertokenizer = BertTokenizer.from_pretrai

2022-04-12 20:03:05 2597 1

原创云计算学习笔记7——分布式存储及计算

Hadoop生态系统2005年，雅虎工程师，分布式计算系统Hadoop，后开源。采用MapReduce分布式计算框架，并根据GFS开发了HDFS分布式文件系统。核心组件：HDFS MapReduce1. 分布式文件系统——GFS1.1 GFS超大规模分布式文件系统，即以文件系统的方式来组织海量数据。代表工作：Goole的文件系统——GFSGFS提供了海量非结构化信息的存储平台，提供数据的冗余备份，成千台服务器的自动负载均衡以及失效服务器检测等各种完备的分布式存储功能。1.2

2021-11-04 12:22:56 1419

原创云计算学习笔记6——虚拟化技术

一、什么是虚拟化理解1:把一台物理计算机虚拟成多台逻辑计算机，每个逻辑计算机里面可以运行不同的操作系统，相互不受影响，这样就可以充分利用硬件资源。理解2:一种资源管理（优化）技术，将计算机的各种物理资源（eg.CPU、内存等）予以抽象、转换，然后呈现出来的一个可供分割并任意组合为一个或多个（虚拟）计算机的配置环境。可以根据不同的对象类型进一步细分： 1. 平台虚拟化：针对计算机和操作系统的虚拟化。 2. 资源虚拟化：很对特定的系统...

2021-11-03 16:13:16 574

原创云计算学习笔记5——集群资源调度策略

一、资源调度策略多用户多作业的环境下，如何将集群资源在它们之间进行分配，需要特定的策略。FIFO 公平调度器能力调度器延迟调度策略主资源公平调度策略1. FIFO最简单的资源调度策略。提交的作业，按照提交时间先后顺序，或者优先级次序，将其放入线性队列相应位置，先进先出调度和分配资源。缺点：多用户场景下，新加入的作业容易出现长时间等待调度的现象。2. 公平调度器Facebook为Hadoop开发的多用户多作业调度器。用户的任务分配到多个资源池（pool）。每个

2021-11-03 09:52:50 4376

原创云计算学习笔记4——分布式集群资源管理

目录1. 问题：集群资源如何管理？2. 独立资源管理与调度系统的优势3. 概念模型4. 通用架构4.1通用调度器4.2 节点管理器5. 设计一个合理的资源管理与调度系统需要考虑的问题5.1 异质性5.2 数据局部性（Data Locality）5.3 抢占式和非抢占式5.4 资源分配粒度5.5 饿死和死锁5.6 资源隔离方法6. 三种资源管理和调度系统范型6.1 集中式调度器6.2 两级调度器 Two-Level Scheduler..

2021-10-31 18:00:23 1302

原创云计算学习笔记3——分布式通信

分布式通信主要研究分布式系统中不同构件（子系统或者进程）之间的信息交换机制：远程过程调用（RPC）消息队列多播通信一、远程过程调用（RPC）概念许多分布式系统是在进程间显示地进行消息交换，RPC即可简化这一通信过程。RPC允许调用位于网络中其他机器上的进程。机器A上进程调用机器B上进程时，A上进程被挂起，B上被调用进程开始执行，调用方可以通过参数将信息传递给被调用方，然后通过B上的进程返回的结果得到所需的信息。RPC就是要像调用本地的函数一样去调用远程函数。RPC过程中

2021-10-31 13:27:31 1992

原创云计算学习笔记2——分布式计算

分布式系统：由若干通过网络互联的计算机组成的软硬件系统，且这些计算机互相配合以完成一个共同的目标。（项目）分布式计算：在分布式系统上执行的计算。分布式计算是将一个大型计算任务分成很多部分分别交给其他计算机处理，并将所有的计算结果合并为原问题的解决方案。这里与并行计算不同的是，并行计算是使用多个处理器并执行单个计算。分布式计算经典项目：寻找外星人：SETI@home分布式计算的宽泛定义：凡事基于分布式计算原理的所有永远，……分布式架构/分布式系统服务端高并发分布式架构演进——淘宝为例单

2021-10-29 21:21:20 476

原创云计算学习笔记1——并行计算

一、并行计算概念基本思想：用多个处理器来协同求解同一问题。并行计算系统形式：含有多个处理器的超级计算机or以某种方式互连的若干台独立计算构成的集群。二、Flynn分类法概念：Michael.J.Flynn提出的根据指令流/数据流的多倍性特性对计算机系统进行分类的方法。指令流：机器执行的指令序列数据流：由指令流调用的数据序列，包括输入数据和中间结果4类：SISD，SIMD，MISD，MIMDSISD 单指令流单数据流传统的顺序执行的单处理器计算机SIMD 单指令流多数

2021-10-27 20:40:13 2092

kathyaier的博客