深度学习
永远的小白虾
无论什么时候,面对这计算机的浩瀚海洋,我都是小白虾
展开
-
关于Pytorch中双向LSTM的输出表示问题
在使用pytorch的双向LSTM的过程中,我的大脑中蒙生出了一个疑问。双向的lstm的outputs的最后一个状态与hidden,两者之间肯定有所联系,但具体是什么样子的呢?会不会hidden状态存储的就是outputs的最后一个状态,这样的话,岂不是会导致hidden并不能表示整个序列的双向信息吗?带着这个疑问,我开始了实验。具体的实验代码,这里就不放了。直接放实验结果吧。output_size: torch.Size([14, 32, 100])hidden_size: torch.S原创 2021-03-15 16:07:56 · 2010 阅读 · 1 评论 -
pytorch构建模型的初始化问题
在看代码的时候,别人好的模型一般都是初始化权重的,所以也就先搜索了一些pytorch实现权重初始化的方法,然后自己再做做实验,看看效果。先是实现一个简单的bilstm,随机生成一些数据试试拟合效果。import torch.nn as nnimport torchimport torch.nn.functional as Fimport torch.optim as optim#双向lstmclass BILSTM(nn.Module): def __init__(self):原创 2020-06-09 10:21:22 · 2233 阅读 · 0 评论 -
关于自然语言处理的相似度计算猜想
首先我学习自然语言处理的时间也不长,也就研一到现在,不到一年。上了一节课,觉得挺无聊的,就上课时间想了一想关于自然语言处理的东西。可以去看看前面发的那篇相似度计算的文章。本文还是结合食用更好。文章地址如下:Pytorch相似度计算特征表示不论是句子,图像,还是现实中的事物都是有特征这个东西的。我们使用深度学习,机器学习或者说什么传统方法,基本上都是在学习特征,然后根据特征去进行泛化模型参数,以求适应更多的情况。而这些特征的表示就是表示成了一个个向量。比如:一个特定的人拥有性别,长相,身高,性格等等原创 2020-05-27 19:28:02 · 251 阅读 · 0 评论 -
自记录的一份注意力(Attention)机制
注意力(Attention)机制是应用在深度学习模型中的一种方法,主要就是通过分配概率分布值来赛选被测对象中的重要信息。通俗一点的说就是人的注意力是有限的,比如你看到一句话“小明在做作业”,如果你的关注重点是人的话,你就更加注意是“小明”这个人在做某件事,而如果你的关注重点是事的话,你就会更加注意是“做作业”这个动作。因此注意力机制,就是提取出对你的目标而言,更加重要的特征。注意力(Atten...原创 2020-03-19 09:43:58 · 318 阅读 · 0 评论 -
Keras学习笔记(一) 构建简单的NN
学习一下深度学习中的keras包,keras包是深度学习里面一个比较好用的包,实现起来的代码量一直都是比较少的。所以现在就来实现一下简单的NN神经网络。以下代码皆是使用Cocalc上的jupyter nootbook编写。先是做一个简单的数据集。import numpy as npimport matplotlib.pyplot as plt X = np.linspace(-2, 6,...原创 2019-05-30 19:50:15 · 1134 阅读 · 0 评论