上帝是个娘们的博客

更优雅的后台训练模型的方法说起后台训练模型，首先想到的必然是nohup &的方式，nohup &后台运行程序。但我有时候会遇到bug。这里介绍一种更优雅的方式tmux详细内容见Tmux命令使用教程！SSH远程训练模型必备安装# Ubuntu 或 Debian$ sudo apt-get install tmux# CentOS 或 Fedora$ sudo yum install tmux# Mac$ brew install tmux新建会话# 默认新建一

import torchimport torch.nn.functional as Ffrom src.utils import generate_square_subsequent_maskimport mathclass Translator(): def __init__(self, bos_idx, eos_idx, device, max_steps=64, beam_size=3, length_norm_coefficient=0.6): '''

最近做生成式问答，尝试用bert做encoder，transformer-decoder做decoder框架来做。遇到一个问题，就是我想让decoder共享bert的embedding矩阵，但是由于设置了decoder和encoder学习速率不同，因此，我不知道embedding矩阵参数如何更新？会不会收到decoder端的影响，于是做了下面的实验。import torchimport torch.nn as nnclass Encoder(nn.Module): def __init__

预训练语言模型中的非常重要的任务是MLM任务，MLM任务需要对原始文本进行mask。transformers库已经集成了预训练语言模型中的mask机制，这里分析其中的两个函数DataCollatorForLanguageModeling和DataCollatorForWholeWordMask。1.1DataCollatorForLanguageModeling这个类实现了Bert模型中的MLM任务中提出的mask机制。下面我对照transformers库中的原始代码讲解。class DataCol

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

安装https://blog.csdn.net/weixin_44293236/article/details/89467489简单使用https://cloud.tencent.com/developer/article/1387732python中操作neo4jhttps://zhuanlan.zhihu.com/p/82958776https://blog.csdn.net/yangfengling1023/article/details/82049715...

如上图所示，y是一个生成器，而不是一个元组，可以用next访问。生成器的特点是所有元素只能遍历一次。如果要生成一个迭代器，可以用"[]"。

直接上代码：from transformers import BertTokenizerpath = '../PTM/bert-base-zh'tokenizer = BertTokenizer.from_pretrained(path)text_1 = '①Goodpasture综合征'text_2 = '1Goodpasture综合征'text_3 = '@Goodpasture综合征'text_4 = 'Goodpasture综合征'print(tokenizer.tokeni

import torchdef f_1(mu): eps = 0.01 mu = mu + eps # 相当于创建了新的变量，原变量没有变 def f_2(mu): eps = 0.01 mu += eps # 没有创建新的变量，对原变量进行操作，也就是in-place mu = torch.ones(2, 4)f_1(mu)print(mu)f_2(mu)print(mu)'''tensor([[1., 1., 1.,

def findCheapestPrice(n, flights, src): MAX = 1000000 graph = [[MAX] * n for _ in range(n)] visited = [False] * n dist = [MAX] * n dist[src] = 0 for u, v, w in flights: graph[u][v] = w if u == src: dist[

forward过程假设以概率ppp丢弃KKK维输入向量x=[x1,x2,,,xK]x=[x_1, x_2, ,, x_K]x=[x1​,x2​,,,xK​]的某些值。那么经过dropout之后的向量定义为ddd，有x′=dropout(x)x' = dropout(x)x′=dropout(x)这个过程相当于生成一个随机的KKK维的mask，这个mask的生成过程如下：r=rand(K)=[r1,r2,,,rK]，其中0<ri<1。mask={0   

import torchimport randomimport copyclass K_means(): def __init__(self, data, k): self.data = data self.k = k def distance(self, p1, p2): return torch.sum((p1-p2)**2).sqrt() def generate_center(self): # 随机

https://zhuanlan.zhihu.com/p/349973983

pytorch中bool类型是可以作为索引的，同时也支持sum等操作。索引时相当于取出为True等位置的元素之后组成一个新的tensor.

关系抽取的定义关系抽取就是从一段文本中抽取出**（主体，关系，客体）**这样的三元组，用英文表示就是(subject, relation, object)这样的三元组。所以关系抽取，有的论文也叫作三元组抽取。从关系抽取的定义也可以看出，关系抽取主要做两件事：识别文本中的subject和object（实体识别任务）判断这两个实体属于哪种关系（关系分类）。例如，给出如下的句子：刘翔，1983年7月13日出生于上海，中国男子田径队110米栏运行员。我们可以抽取出实体关系三元组实例 (刘翔，出生地，上

wordnet教程

EM算法的流程：随机初始化未知参数，初始化值记为θold\theta^{old}θoldE-STEP:求隐变量zzz的后验：p(z∣x;θold)=p(z,x;θold)∫p(z,x;θold)dzp(z|x;\theta^{old}) = {p(z,x;\theta^{old}) \over \int p(z,x;\theta^{old})dz}p(z∣x;θold)=∫p(z,x;θold)dzp(z,x;θold)​求完全数据(x,z)(x,z)(x,z)的对数似然关于zzz的后验的期望：

归并排序def sort(array, l, r): if l == r: return mid = (l + r) // 2 sort(array, l, mid) sort(array, mid + 1, r) merge(array, l, mid, r)def merge(array, l, mid, r): tmp = [] i = l j = mid + 1 while i <= mid and

概率密度比概率密度比是生成模型的重要组成部分，无论是在VAEs的情况下显式的（比如两个高斯分布之间的KL散度），还是在GANs的情况下隐式的。即我们在计算两个分布之间的KL散度（比如pgp_{g}pg​与pdatap_{data}pdata​之间的KL散度），这通常归结为计算两个概率分布对数的样本平均值。以VAE举例，VAE的ELBO是：ELBO=Eq(z∣x)[logp(x∣z)]−KL[q(z∣x)∣∣p(z)]=Eq(z∣x)[logp(x∣z)]−Eq(z∣x)[logq(z∣x)p(z)]

例1假设我们函数是y=(x+w)∗(w+1)y=(x+w)*(w+1)y=(x+w)∗(w+1)，我们要求yyy对x和wx和wx和w的导数，应该如何用pytorch来求解。上面的计算图表示y=(x+w)∗(w+1)y=(x+w)*(w+1)y=(x+w)∗(w+1)，先计算括号内部的加法，再计算乘法。计算顺序是：a=x+wa=x+wa=x+w，b=w+1b=w+1b=w+1，y=a∗by=a*by=a∗b。用代码来表示：import torchw = torch.tensor([1.], re