- 博客(11)
- 收藏
- 关注
RSS订阅原创 推荐评论展示大作业
任务要求本次推荐评论展示任务的目标是从真实的用户评论中，挖掘合适作为推荐理由的短句。点评软件展示的推荐理由具有长度限制，而真实用户评论语言通顺、信息完整。综合来说，两者都具有用户情感的正负向，但是展示推荐理由的内容相关性高于评论，需要较强的文本吸引力。一些真实的推荐理由如下图所示：具体的，需要将文本分为两类，0代表不展示，1代表展示因此整个任务是一个文本分类任务，在完成任务的过程中，共尝...
2020-03-01 22:27:50
511
原创 文本分类、数据增强与模型微调小记
文本分类文本分类是自然语言处理的一个常见任务，它把一段不定长的文本序列变换为文本的类别。这里使用情感分析作为一个例子。其使用了斯坦福的IMDb数据集，这里略过。对于数据进行的操作有：分词、建立词典、创建数据迭代器等。在使用的模型上，可以使用循环神经网络或卷积神经网络进行句子分类使用循环神经网络可以使用双向神经网络进行句子分类class BiRNN(nn.Module): ...
2020-02-24 20:36:09
868
原创 word2vec与词向量嵌入小记
word2vec基本概念使用one-hot向量时虽然把词语转换成了向量，但无法表示词与词之间的关系。Word2Vec 词嵌入工具将每个词表示成一个定长的向量，并通过在语料库上的预训练使得这些向量能较好地表达不同词之间的相似和类比关系，以引入一定的语义信息。基于两种概率模型的假设，我们可以定义两种 Word2Vec 模型：skip-gram模型：假设背景词由中心词生成，即建模P(wo|wc)...
2020-02-23 19:23:29
469
原创 批量归一化、凸优化及梯度下降
批量归一化基本概念标准化是指处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。其目的是使各个特征的分布相近。而批量归一化是指利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。对全连接层进行批量归一化：位置位于全连接层中的仿射变换和激活函数之间。对卷积层做批量归一化：位置：卷积计算之后、应⽤激活函数之前。如果卷积计算输出...
2020-02-23 00:59:45
445
原创 卷积神经网络小记
卷积神经网络基本概念主要包括卷积层、池化层、填充、步幅、输入通道与输出通道。二维互相关运算二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与该位置处的输入子数组按元素相乘并求和，得到输...
2020-02-19 11:50:08
303
原创 从seq2seq模型到Transformer以及机器翻译小记
seq2seq模型基本概念顾名思义，seq2seq模型是指，模型的输入是一个sequence序列，而模型的输出也是sequence序列，其模型结构可以表示为Encoder-Decoder结构，如下图：其中encoder与decoder都是使用循环神经网络（RNN）实现的。其中的语义编码则是encoder的隐藏状态。其中包括了encoder中的语义信息，作为decoder的输入，从而使用de...
2020-02-18 21:09:23
769
原创 模型正则化与梯度消失或爆炸问题小记
过拟合与欠拟合基本概念首先我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。...
2020-02-17 20:51:24
1354
原创 语言模型与循环神经网络
文本预处理基本概念文本是一类序列数据，一篇文章可以看作是字符或单词的序列，在将其输入到模型中之前需要对其进行预处理，处理成为模型可以接收的格式，一般来说，模型预处理包括以下几个步骤：1.读入文本2.分词3.建立字典，将每个词映射到一个唯一的索引（index）4.将文本从词的序列转换为索引的序列，方便输入模型具体实现文本预处理当中较为关键的是建立字典以及转换索引的过程，为了方便模型处...
2020-02-14 21:28:15
327
原创 线性回归与多层感知机小记
线性回归基本概念线性模型的形式较为简单，其试图学得一个通过属性的线性组合来进行预测的函数，基本表示如下：在训练一个模型时，我们需要衡量模型预测值与真实值之间的误差，通常我们会选取一个非负数作为误差，且数值越小表示误差越小。一个常用的选择是平方函数。 它在评估索引为i的样本误差的表达式为：在获得了预测值与真实值之间的误差之后，我们需要使用这一误差对模型进行优化。当模型和损失函数形式较为简...
2020-02-14 12:00:10
1134
原创 Mac 下 MySQL 导出数据设置及--secure-file-priv报错解决
在把MySQL中的数据导入到一个文件当中的时候遇到了一些问题，在此记录一下。语句MySQL中导出数据的语句是 SELECT ... INTO OUTFILE，举例来说：select * from test_infointo outfile '/tmp/test.csv'fields terminated by ',' --字段间以,号分隔opt...
2019-09-27 10:46:15
1328
2
原创 PyTorch分布式训练简介
PyTorch分布式训练分布式训练已经成为如今训练深度学习模型的一个必备工具，但pytorch默认使用单个GPU进行训练，如果想用使用多个GPU乃至多个含有多块GPU的节点进行分布式训练的时候，需要在代码当中进行修改，这里总结一下几种使用pytorch进行分布式训练的方式。环境本文使用的环境为：python =3.7pytorch = 1.0CUDA = 8.0使用单个GPUp...
2019-04-28 11:49:29
25017
23
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人