自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(27)
  • 收藏
  • 关注

原创 单语适配器代码复现

采用fairseq框架对单语适配器代码进行复现

2023-03-22 12:29:04 263

原创 fairseq读代码系列(二)——多语言的采样过程

本文旨在根据框架代码来探究一下fairseq是如何根据每个语言向的dataset和指定的max token/max sentence来确定每个batch的batch sampler的。

2023-03-20 12:56:20 699

原创 fairseq读代码系列(一)

本文主要对fairseq框架模型训练之前的准备工作原理展开说明,重点是对框架源码的理解,文中以transformer模型为例,数据处理的过程是按照官方文档中对IWSLT数据集的处理进行的。

2023-02-28 19:16:27 1175 2

原创 CHRF评估指标

不同于BLEU评估指标,CHRF评估指标可以衡量字符级的准确度和流畅度,改进后的CHRF评估指标(CHRF++)将字符级和单词级融合在一起,更全面的评估文本的生成质量,本文主要对CHRF和CHRF++评估指标的手动计算过程和使用nltk和sacrebleu工具的计算原理作出总结和说明。

2022-12-30 11:30:17 1766

原创 BLEU评估指标

BLEU评估指标在机器翻译任务中经常使用,本文主要对BLEU评估指标的计算过程以及计算工具的使用进行总结

2022-12-28 17:55:53 8962 1

原创 On the use of BERT for Neural Machine Translation论文阅读

本文研究了如何利用BERT预训练模型进行有监督的神经机器翻译

2022-10-21 20:24:38 281 1

原创 Python数据分析(六)

Python数据分析(六)打卡第十天啦!!!Matplotlib库(一)数据分析中的常用图剖析折线图:折线图用于显示数据在一个连续的时间间隔或者时间跨度上的变化,它的特点是反映事物随时间或有序类别而变化的趋势。柱状图:典型的柱状图(又名条形图),使用垂直或水平的柱子显示类别之间的数值比较。其中一个轴表示需要对比的分类,另一个轴代表相应的数值。直方图:直方图(Histogram),又称质量分布图,是一种统计报告图,由一系列高度不等的条纹表示数据分布的情况。一般用横轴表示数据类型,纵轴表示分布情况

2021-08-10 21:48:24 1529

原创 Python数据分析(五)

Python数据分析(五)打卡第九天啦!!!pandas库(五)数据规整层次化索引层次化索引的创建data = pd.Series(np.random.randn(9), index=[['a','a','a','b','b','c','c','d','d'], [1,2,3,1,3,1,2,2,3]])层次化索引的外层选取和内层选取# 外层选取data['a']data['b':'c']data.l

2021-08-09 21:06:30 212

原创 Python数据分析(四)

Python数据分析(四)打卡第八天啦!!!数据加载、存储与文件格式读写文本格式文件二进制数据格式Web APIs交互数据库交互

2021-08-09 12:53:23 467 3

原创 Python数据分析(三)

Python数据分析(三)打卡第七天啦!!!pandas库(二)pandas索引操作index对象Series和DataFrame中的索引都是Index对象import pandas as pdimport numpy as npps = pd.Series(range(5),index=['a','b','c','d','e'])print(ps)print(type(ps.index)) # <class 'pandas.core.indexes.base.Index'&g

2021-08-06 21:14:21 876

原创 Python数据分析(二)

Python数据分析(二)打卡第六天啦!!!Numpy库(二)NAN和INF值的认识import numpy as npdata = np.random.randint(0,10,size=(3,5))data = data.astype(np.float)data[0,1] = np.NANprint(data)# [[ 0. nan 1. 2. 5.]# [ 4. 2. 4. 4. 9.]# [ 9. 4. 5. 9. 1.]]print(data/0)

2021-08-05 19:10:51 238

原创 Python数据分析(一)

Python数据分析(一)打卡第五天啦!!!Numpy库(一)介绍功能强大的Python库,主要用于对多维数组执行计算非常高效的用于处理数值型运算的包通过pip install numpy安装numpy数组和Python列表性能对比import numpy as npimport timet1 = time.time()a = []for x in range(1000000): a.append(x**2) passt2 = time.time()print

2021-08-04 22:11:36 780

原创 Python编程基础(四)

Python编程基础(四)打卡第四天啦!!!文件操作与模块文件打开关闭文件打开模式:(1)w:打开一个文件只用于写入,如果该文件已存在则将其覆盖,如果该文件不存在,创建新文件# 打开文件# 默认编码是GBKfobj=open('./Test.txt','w')# 开始操作 读写操作fobj.write('潘小雷的Python之旅')fobj.close()(2)wb:以二进制格式打开一个文件只用于写入,如果该文件已存在则将其覆盖,如果该文件不存在,创建新文件# 以二进制形式去

2021-08-03 22:12:34 380 3

原创 Python编程基础(三)

Python编程基础(三)打卡第三天啦!!!面向对象基础(上)面向对象介绍OOP将数据与函数绑定在一起,进行封装面向过程和面向对象类和对象类是模板,由类名、属性、方法构成对象是根据模板创建的实例定义类和对象# 类名用大驼峰命名法class Person: name='潘小雷' age=20 def watch(self): print('看韩剧') pass def run(self): prin

2021-08-02 23:16:36 566

原创 Python编程基础(二)

Python编程基础(二)打卡第二天啦!!!函数初识函数什么是函数:函数是一系列Python语句的组合,可以在程序中运行一次或多次,一般是完成具体的独立的功能为什么要使用函数:代码复用最大化函数定义:def 函数名(参数列表):  函数体函数的调用:本质上是去执行函数定义里面的代码块,在调用函数之前必须先定义# 函数的定义'''打印个人信息'''def person_info(name,age): # 函数代码块 print('姓名:{}'.format(na

2021-08-01 15:05:45 177

原创 Python编程基础(一)

Python编程基础(一)打卡第一天啦!!!认识Python面向对象 解释型计算机程序设计语言 胶水语言变量和数据类型变量程序中用变量存储数据变量的定义:变量名=数据变量使用:通过变量名来使用变量a=10print(a) #10a='潘小雷'print(a) #潘小雷首先定义变量,才能使用变量赋值变量时不需要指定数据类型,给这个变量赋值什么数据类型,这个变量就是什么类型数据类型数字(num)int(有符号整数)long(长整型)float(浮点型)co

2021-07-29 23:30:19 839

原创 CPU调度(2) 操作系统笔记整理系列

CPU调度调度算法多级队列调度多级队列调度算法将ready队列分成多个单独队列根据进程属性,如内存大小、进程优先级、进程类型等,一个进程永久分到一个队列每个队列有自己的调度算法,如FCFS、RR等队列之间应有调度,通常采用固定优先级抢占调度,系统进程、交互进程、交互编辑进程、批处理进程、学生进程,五个队列优先级由高到低,每个队列与更低层队列相比具有绝对的领先,例如,只有系统进程、交互进程和交互编辑进程队列都为空,批处理队列内的进程才可运行另一种队列之间的调度方法是,在队列之间划分时间片,每个

2021-06-11 15:34:49 122 4

原创 CPU调度(1) 操作系统笔记整理系列

CPU调度CPU调度是多道程序操作系统的基础基本概念多道程序的目标是,始终允许某个进程运行以最大化CPU利用率当一个进程等待时,操作系统就从该进程接管CPU控制,并将CPU交给另一进程,这种方式不断重复CPU-I/O执行周期:进程执行由一个CPU执行周期和I/O等待组成。CPU调度程序:CPU调度程序(或短期调度程序)从内存中准备执行的进程中选择一个进程,并将CPU分配给它(1)短期调度程序必须经常为CPU选择一个进程(2)由于执行间隔时间很多,所以短期调度程序必须速度快(3)需要进

2021-06-11 00:20:56 172 1

原创 虚拟内存 操作系统笔记整理系列

3# 虚拟内存背景虚拟内存:用户逻辑内存与物理内存的分离。(1)只有程序的一部分需要在内存中来运行(2)逻辑地址空间可以远远大于物理地址空间(3)允许地址空间可以被多个进程共享(4)允许更多高效进程创建虚拟内存可以通过按需调页和页置换来实现按需调页(Demand Paging)进程创建(Process Creation)页置换(Page Replacement)帧分配(Allocation of Frames)颠簸(Thrashing)其他考虑...

2021-06-10 11:35:25 142 1

原创 内存管理 操作系统笔记整理系列

内存管理冯诺依曼体系中的存储:主存:只有CPU可以直接访问的大型存储介质二级存储:主存的扩展,提供大的非易失的存储容量,比如磁盘存储结构:存储系统通常根据其速度、成本和波动性进行分层组织存储层次结构之间的移动可以是显式的,也可以是隐式的背景内存由一个很大的字节数组组成,每个字节都有自己的地址。(1)CPU根据程序计数器的值从内存中获取指令。(2)这些指令可能导致额外的加载和存储(存储到特定的内存地址)。程序运行必须先加载到内存中(程序被放置在进程中)。输入队列:磁盘上等待

2021-06-09 21:32:31 151 1

原创 死锁 操作系统笔记整理系列

死锁系统模型资源类型有很多,如CPU周期、文件、I/O设备等。每一个系统拥有有限数量的资源,需要分配到若干竞争进程,这些资源可以分为多种类型,每种类型具有一定数量的实例。在正常操作模式下,进程只能按如下顺序使用资源:(1)申请:进程请求资源,如果申请不能立即被允许,例如申请的资源正在被其他进程使用,那么申请进程应等待,直到它能获得该资源为止。(2)使用:进程对资源进行操作。(3)释放:进程释放资源。死锁问题一组阻塞的进程,每个进程持有一个资源,并等待获得资源集中的另一个进程持有的资源

2021-06-09 14:37:21 363 4

原创 操作系统第一章笔记整理

操作系统的概念操作系统的定义操作系统是系统资源的管理者。操作系统向上层提供方便易用的服务。操作系统是最接近硬件的一层软件。定义:操作系统是指控制和管理整个计算机系统的硬件和软件资源,并合理地组织调度计算机的工作和资源的分配,以提供给用户和其他软件方便的接口和环境,它是计算机系统中最基本的系统软件。操作系统的功能和目标作为系统资源的管理者提供的功能:(1)处理机管理(2)存储器管理(3)文件管理(4)设备管理目标:安全高效例:用QQ和朋友视频聊天Step 1:在各个文件

2021-05-17 14:12:09 1140 9

原创 《计算机网络:自顶向下网络》第四章笔记整理(更新中)

《计算机网络:自顶向下网络》第四章笔记整理4.1 导论数据平面网络层服务1.在发送主机和接收主机之间传送段(segment)。2.在发送端将段封装到数据报中,在接收端将段上交给传输层实体。3.网络层协议存在于每一个主机和路由器。4.路由器检查每一个经过它的IP数据报的头部。网络层的关键功能1.转发:将分组从路由器的输入接口转发到合适的输出接口。2.路由:使用路由算法来决定分组从发送主机到目标接收主机的路径。数据平面和控制平面数据平面1.本地,每个路由器功能2.决定从路由器输入端口

2021-03-30 21:00:52 2041 3

原创 《计算机网络:自顶向下网络》第六章笔记整理(一)

《计算机网络:自顶向下网络》第六章笔记整理(一)6.1 引证和服务1、网络节点的连接方式点到点的网络(广域网采用)多点连接(局域网)2、节点:主机/路由器链路:沿着通信路径、连接相邻节点通信信道的是链路,分为有线链路、无线链路、局域网和共享性链路。A.链路层负责从一个节点通过链路将帧中的数据报发送到相邻物理节点(以帧为单位)。B.数据报在不同的链路上以不同的链路协议传送(例如第一跳是以太网,中间链路是帧中继链路,最后一跳是802.11)。C.不同的链路协议提供不同的服务。3、链路

2021-03-12 23:52:38 1584 7

原创 算法小白 Leetcode刷题篇(二)

合并两个有序数组题目指路题目描述:给你两个有序整数数组 nums1 和 nums2,请你将 nums2 合并到 nums1 中,使 nums1 成为一个有序数组。初始化 nums1 和 nums2 的元素数量分别为 m 和 n 。你可以假设 nums1 的空间大小等于 m + n,这样它就有足够的空间保存来自 nums2 的元素。示例 1:输入:nums1 = [1,2,3,0,0,0], m = 3, nums2 = [2,5,6], n = 3输出:[1,2,2,3,5,6]示例 2:

2021-02-28 17:39:57 96

原创 算法小白 LeetCode刷题篇(一)

算法小白 LeetCode刷题篇(一)反转字符串中的元音字母题目指路题目描述:编写一个函数,以字符串作为输入,反转该字符串中的元音字母。示例 1:输入:“hello”输出:“holle”示例 2:输入:“leetcode”输出:“leotcede”思路一(比较菜的双指针):两边的指针逐渐向中间逼近,直到两指针重合跳出循环。两指针移动的时候分为以下几种情况:1.当左指针没有指向元音字母,右指针也没有指向元音字母时,这种情况一般多见于初始状态(当然,初始状态时也可能有指针指向元音字母

2021-02-24 23:50:51 158 3

原创 《计算机网络 自顶向下的方法》第一章笔记整理

计算机网络第一章笔记整理计算机网络和因特网什么是Internet网络边缘网络核心接入网和物理媒体Internet结构和ISP分组延时、丢失和吞吐量协议层次及服务模型历史计算机网络和因特网什么是Internet从具体构成角度解释什么是互联网:节点:包括主机节点和数据交换节点,主机节点(端节点,包括PC、Server、笔记本、智能手机等)指的是主机及其上运行的应用程序,数据交换节点指的是路由器、交换机等网络交换设备边:通信链路,通信链路中包括接入网链路和主干链路,接入网链路指的是主机连接到互联网的链

2021-02-02 19:40:06 504

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除