- 博客(12)
- 收藏
- 关注
RSS订阅原创 PyTorch环境配置及安装
先新建一个虚拟环境，在上图界面输入 conda create -n pytorch python=3.6 即可创建一个名为pytorch的python版本为3.6的环境。官网，下载1.1版本以上，Windows系统，conda包，python3.6版本，CUDA9.2版本（若无英伟达显卡则CUDA选None）复制对应命令运行即可安装。输入pip list可查看安装的包，可看到torch是否成功安装以及版本。输入torch.cuda.is_available()验证torch和cuda是否可用。
2024-06-26 22:40:11
412
原创 如何阅读论文
第二遍（精读）：确定论文值得读之后，可以快速的把整个论文过一遍，不需要知道所有的细节，需要了解重要的图和表，知道每一个部分在干什么，圈出相关文献。觉得文章太难，可以读引用的文献。第一遍（海选）：标题、摘要、结论。可以简单看一看方法和实验部分重要的图和表。这样可以花费十几分钟时间了解到论文是否适合你的研究方向。第三遍（细读）：可以代入自己来思考，提出什么问题，用什么方法来解决这个问题。合上文章，回忆每一个部分在讲什么。
2024-06-06 12:01:59
112
原创 深度学习之自然语言处理（Attention）
这里我们所做的改进只是将编码器的全部时刻的隐藏状态取出来而已。通过这个小改动，编码器可以根据输入语句的长度，成比例地编码信息。可以像我们人类一样，将“注意力”集中在必要的信息上。编码器的输出的长度应该根据输入文本的长度相应地改变。中，仅将编码器最后的隐藏状态向量传递给了解码器。1.1 seq2seq存在问题。个单词，此时编码器输出 5。的反向传播是 Repeat。这里重述一下要点：“
2024-05-24 17:04:32
319
1
原创 深度学习之自然语言处理（基于RNN生成文本）
想让每次生成的文本有所不同，这样一来，生成的文本富有变化，会更有趣。在加法问题中，每个样本在时间方向上的大小不同。也就是说，加法问题处理的是可变长度的时序数据。层的隐藏状态是编码器和解码器的“桥梁”。在正向传播时，编码器的编码信息通过 LSTM。在反向传播时，解码器的梯度通过这个“桥梁”传递给编码器。那么，解码器是如何“处理”这个编码好的向量，从而生成目标文本的呢？并不是必然的（不是确定性的），而是概率性的。学习可变长度的时序数据时，最简单的方法是使用。如果有更好的语言模型，就可能有更好的文本。
2024-05-21 17:43:49
203
1
原创 深度学习之自然语言处理（Gated RNN）
遗忘门从上一时刻的记忆单元中删除了应该忘记的东西，但是这样一来，记忆单元只会忘记信息。输入门不会不经考虑就添加新信息，而是会对要添加的信息进行取舍。的各个元素，调整它们作为下一时刻的隐藏状态的重要程度。为了解决梯度消失问题，需要从根本上改变 RNN 层的结构，提出Gated RNN。记忆单元的特点是，仅在 LSTM 层内部接收和传递数据。此时，关注时间方向上的梯度，可知反向传播的梯度流经 tanh。这样一来，新的信息就被添加到了记忆单元中。的对应元素的乘积添加到记忆单元中。会发生梯度消失和梯度爆炸的问题。
2024-05-16 17:38:19
325
原创 深度学习之自然语言处理（RNN）
前馈型神网络：指网络的传播方向是单向的，先将输入信号传给下一层（隐藏层），接收到信号的层也同样传给下一层，然后再传给下一层……像这样，信号仅在一个方向上传播。存在问题：不能很好地处理时间序列数据（以下简称为“时序数据”）即单纯的前馈网络无法充分学习时序数据的性质。所以需要引入RNN（循环神经网络）1 概率和语言模型。
2024-05-07 12:05:32
511
原创 深度学习之自然语言处理（word2vec的高速化）
word2vec中最大的问题是，随着语料库中处理的词汇量的增加，计算量也随之增加。对上一章中简单的word2vec进行两点改进：引入名为Embedding 层的新层，以及引入名为的新损失函数。1 word2vec的改进①假设词汇量有100万个，CBOW模型的中间层神经元有100个。
2024-05-06 12:04:03
558
原创 深度学习之Numpy
解决方案：网速太慢导致，使用国内镜像源安装；中国科学技术大学： http://pypi.mirrors.ustc.edu.cn/simple/中国科技大学： https://pypi.mirrors.ustc.edu.cn/simple/清华大学： https://pypi.tuna.tsinghua.edu.cn/simple/清华源： https://pypi.tuna.tsinghua.edu.cn/simple/阿里云： http://mirrors.aliyun.com/pypi/simple/
2024-04-07 15:11:10
249
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人