![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
长安过客君
这个作者很懒,什么都没留下…
展开
-
pytroch版本bert使用笔记
import torchfrom transformers import BertTokenizer, BertModel# Load pre-trained model tokenizer (vocabulary)tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')# Tokenize inputtext = ...原创 2020-01-08 17:26:05 · 242 阅读 · 0 评论 -
BERT学习笔记
BERT学习笔记BERT的出现,彻底改变了预训练产生词向量和下游具体NLP任务的关系,提出龙骨级的训练词向量概念。李理的博客讲的比较好http://fancyerii.github.io/2019/03/05/bert-prerequisites/...原创 2019-12-27 20:04:54 · 526 阅读 · 0 评论 -
论文阅读BiDAF-Bidirectional attention flow for machine comprehension
BiDAF-用于机器理解的双向注意力流目录摘要机器理解(MC),回答关于给定文本段落的查询,要求对文本和查询之间的复杂交互进行建模。目前的方法都使用单向注意力。本文提出了双向注意力流网络。是个多级的分层过程。在多个不同层面的粒度上表示文本。without early summarization。在SQuAD数据集和CNN/DailyMail完形填空数据集上取得了目前最好的效果。1 介绍...原创 2019-12-20 15:37:39 · 584 阅读 · 0 评论 -
论文阅读Neural Machine Reading Comprehension: Methods and Trends
神经机器阅读理解:方法和趋势摘要机器阅读理解(MRC):让机器根据给定的内容回答问题。近几年随着深度学习的出现吸引了广泛的注意。根据近几年这方面的研究,做了一个全面透彻的综合概述。通过不同的维度比较了MRC任务,介绍了整体结构。对当前最尖端技术做了分类。最后,讨论趋势,以开放性问题结尾。介绍1970年代出现。被小规模数据集和基于规则的方法所限制。性能不佳。这一情况在深度学习...原创 2019-12-17 15:54:02 · 2467 阅读 · 0 评论 -
机器学习的正负样本
这两天看一个数据分析的比赛,刚开始搞比赛,很多知识点都还不清楚。记录在这里,方便以后忘记的时候查看。参加的比赛是“基于Adversarial Attack的问题等价性判别比赛“,参考网址:https://biendata.com/competition/2019diac/将其中介绍的内容截图如上。在数据详情部分,对于数据的介绍是这样说的。”训练集根据在实际项目中的数据情况,以问题组的形式提...原创 2019-12-08 20:06:49 · 1187 阅读 · 0 评论 -
张量(tensor)及其操作总结
一、什么是张量张量是属于线性代数里的知识点,线性代数是用虚拟数字世界表示真实物理世界的工具。我们用点线面体的概念来比喻解释会更加容易理解:点——标量(scalar)线——向量(vector)面——矩阵(matrix)体——张量(tensor)一个张量就是一个可以容纳N维数据及其线性操作的容器。标量单个数字就是一个标量。标量是一个0维的张量。因此,它具有0个轴,并且秩为0。向...原创 2019-12-05 17:43:51 · 2782 阅读 · 0 评论 -
用pytorh建立神经网络的一般流程总结
先class再net再epoch训练再net.eval()测试原创 2019-12-05 10:38:58 · 389 阅读 · 0 评论 -
利用LSTM判断词性(基于pytorch实现)
利用LSTM判断词性给出一句话,判断里面的每个单词是什么类型。名词、代词、副词等等。import torchfrom torch import nnfrom torch.autograd import Variable# 给出两句话作为训练集,每个单词给出词性train_data = [ ("The dog ate the apple".split(), ["DET", "N...原创 2019-12-04 22:10:11 · 1579 阅读 · 0 评论 -
N-Gram模型预测单词
词嵌入只有先将单词编码为数字,每个单词匹配一个数字,才能传入Embedding中,进行词向量的转化。word_to_ix = {'hello':0, 'world':1}embeds = nn.Embedding(2, 5)hello_idx = torch.LongTensor([word_to_ix['hello']])hello_idx = Variable(hello_idx)...原创 2019-12-02 21:56:05 · 1078 阅读 · 0 评论 -
RNN学习笔记(循环神经网络)
torch.nn.RNN()RNN() 里面的参数有input_size 表示输入 ????????xt 的特征维度hidden_size 表示输出的特征维度num_layers 表示网络的层数nonlinearity 表示选用的非线性激活函数,默认是 ‘tanh’bias 表示是否使用偏置,默认使用batch_first 表示输入数据的形式,默认是 False,就是这样形式,(seq, bat...原创 2019-12-02 19:18:39 · 516 阅读 · 0 评论 -
深度学习碎碎念
一些基于梯度的优化方法1.梯度下降2.SGD随机梯度下降,是梯度下降的一个变型,每次使用一批(batch)数据进行计算,而不是使用全部数据计算梯度。计算所有数据的梯度导致运算时间很长,失去了随机性,容易陷入局部误差。SGD每次可能不是朝着梯度最小的方向,但反而容易跳出局部极小值点。3.momentum采用SGD的同时,增加动量(momentum),帮助跳出局部极小值点或者鞍点。4....原创 2019-11-09 16:15:44 · 90 阅读 · 0 评论