![](https://img-blog.csdnimg.cn/20190927151026427.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
文章平均质量分 68
PyTorch深度学习快速入门、深度学习原理、自然语言处理、NLP实战入门
雾重烟秋
这个作者很懒,什么都没留下…
展开
-
chap6 RNN
利用循环神经网络,实现唐诗生成任务。原创 2024-06-02 14:12:08 · 361 阅读 · 0 评论 -
神经网络与深度学习——第15章 序列生成模型
本文讨论的内容参考自《神经网络与深度学习》https://nndl.github.io/ 第15章 序列生成模型,习题还没做先存在这里。原创 2024-06-04 21:25:04 · 403 阅读 · 0 评论 -
神经网络与深度学习——第8章 注意力机制与外部记忆
假设隐藏神经元的数量为DDD,输入层的维数为MMM,分析一下LSTM结构,遗忘门那里接收上一时刻的隐藏状态ht−1h_{t-1}ht−1和输入xt{x_t}xt,权重矩阵为WfW_fWf,即ftσWf⋅ht−1xtbfσUfht−1wfxtbfftσWf⋅ht−1xtbfσUfht−1wfxtbfWfW_fWf。原创 2024-06-03 12:32:37 · 1102 阅读 · 0 评论 -
chap7 seq2seq and attention
因为训练数据中有各种大小的句子,为了实际创建和训练这一层,我们必须选择它可以应用的最大句子长度(对于编码器输出来说,输入长度)。网络的输出,它们阅读时语法连贯,但偏离了正确的翻译——从直觉上讲,它已经学会了表示输出的语法,并且可以在教师告诉它前几个单词时“拾取”意思,但它还没有正确地学会如何从翻译中创建句子。为了训练,对于每个对,我们将需要一个输入张量(输入句子中单词的索引)和目标张量(目标句子中单词的索引)。我们需要每个单词的唯一索引,以便用作网络的输入和目标,为了跟踪这一切,将使用一个名为。原创 2024-06-03 19:48:38 · 962 阅读 · 0 评论 -
神经网络与深度学习——第7章 网络优化与正则化
代入可知,可以看作是真正的学习率,如果不成正比,那么会出现过大或者过小的情况,使参数更新不稳定或者过慢。可以看出,如果β1\beta_1β1和β2\beta_2β2都接近1,Mt\hat M_tMt接近MtM_tMtGt\hat G_tGt接近GtG_tGt,当M00G00M00G00,初期的均值和未减去均值的方差都很大,因为ttt。原创 2024-06-02 11:15:35 · 2538 阅读 · 0 评论 -
chap5 CNN
利用卷积神经网络,实现对MNIST数据集的分类问题。原创 2024-05-31 20:17:10 · 392 阅读 · 0 评论 -
反向传播算法的详细推导
反向传播算法的详细推导原创 2024-06-01 14:35:42 · 338 阅读 · 0 评论 -
神经网络与深度学习——第6章 循环神经网络
延时神经网络是对前馈神经网络增加延时器,当前层的神经元的活性值依赖于前一层神经元的最近K个时刻的活性值;卷积神经网络是对前馈神经网络增加卷积层和池化层;循环神经网络是对前馈神经网络增加自反馈的神经元,RNN当前时刻的活性值通常依赖于之前所有时刻的活性值,因为通过循环连接来传递信息。卷积神经网络没有时序性的概念,循环神经网络具有时序性,如果我们并不在意前一个决策结果是什么,用CNN,比如手写数字识别,在自然语言处理中,上一个词很大程度影响下一个词,可以用RNN。原创 2024-06-01 20:17:13 · 683 阅读 · 0 评论 -
神经网络与深度学习——第5章 卷积神经网络
这里解释一下(2),平均汇聚是相加然后乘以一个可训练参数,再加上一个可训练偏置,因此可训练参数的数量是6∗116∗11,而连接数是6∗14∗14∗2∗216∗14∗14∗2∗21,这里包括了偏置在内。(3)C3这里使用了60个卷积核,为什么只得到了16个特征图,而不是60个特征图,这是LeNet-5的特殊的连接,连接表如下:(5)C5卷积层是使用了120*16个二维的5X55X55X5的卷积核,实际上就是120个三维的5X5X。原创 2024-05-31 18:28:55 · 821 阅读 · 0 评论 -
chap4 simple neural network
利用numpy和pytorch搭建全连接神经网络。使用numpy实现此练习需要自己手动求导,而pytorch具有自动求导机制。我们首先先手动算一下反向传播的过程,使用的模型和初始化权重、偏差和训练用的输入和输出值如下:我们看一下正向过程:计算出每个隐藏神经元的输入,通过激活函数(用Sigmoid函数)转换为下一层的输入,直到达到输出层计算最终输出:先来计算隐藏层h_1的输入,zh1ω1x1ω2x211∗1−2∗−114。原创 2024-05-31 14:06:12 · 1283 阅读 · 0 评论 -
神经网络与深度学习——第4章 前馈神经网络
如果进行0均值化,那么输入的x\bm xx要么大于0要么小于0,在0附近,sigmoid函数的导数在0附近是最大的,所以收敛速度很快。当输入恒大于0的时候,均值肯定大于0,那么有可能就到了sigmoid函数的平缓部分,所以收敛速度更慢。XOR问题即异或问题,有0XOR000XOR000XOR110XOR111XOR011XOR011XOR101XOR10。原创 2024-05-30 21:06:54 · 1147 阅读 · 0 评论 -
chap3 softmax_regression
填空一:实现sigmoid的交叉熵损失函数(不使用tf内置的loss 函数)建立模型类,定义loss函数,定义一步梯度下降过程函数。实例化一个模型,进行训练。原创 2024-05-30 16:13:21 · 198 阅读 · 0 评论 -
神经网络与深度学习——第3章 线性模型
线性模型线性模型(Linear Model)是机器学习中应用最广泛的模型,指通过样本特征的线性组合来进行预测的模型,给定一个DDD维样本x=[x1,...,xD]T\bm x = [x_1,...,x_D]^Tx=[x1,...,xD]T,其线性组合函数为在分类问题中,由于输出目标yyy是一些离散的标签,而f(x;ω)f(\bm x;\bm \omega)f(x;ω)的值域为实数,因此无法直接用f(x;ω)f(\bm x;\bm \omega)f(x;ω)来进行预测,需要引入一个非线性的决策函数g原创 2024-05-30 13:59:25 · 1478 阅读 · 2 评论 -
chap1 numpy exercise
9.建立矩阵a ,初始化为[[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]],输出(0,0),(1,2),(2,0),(3,1) (提示使用 b = np.array([0, 2, 0, 1]) print(a[np.arange(4), b]))3.建立一个二维数组 b,初始化为 [ [4, 5, 6],[1, 2, 3]] (1)输出各维度的大小(shape)(2)输出 b(0,0),b(0,1),b(1,1) 这三个元素(对应值分别为4,5,2)原创 2024-05-29 18:45:06 · 585 阅读 · 0 评论 -
神经网络与深度学习——第14章 深度强化学习
本文讨论的内容参考自《神经网络与深度学习》https://nndl.github.io/ 第14章 深度强化学习深度强化学习强化学习(Reinforcement Learning,RL),也叫增强学习,是指一类从与环境交互中不断学习的问题以及解决这类问题的方法,强化学习可以描述为一个智能体从与环境交互中不断学习以完成特定目标(比如取得最大奖励值)。和深度学习类似,强化学习中的关键问题也是贡献度分配问题(即一个系统中不同的组件(component)对最终输出结果的贡献或影响),每一个动作并不能直接得到监督原创 2024-05-29 15:49:22 · 1442 阅读 · 0 评论 -
Pytorch入门需要达到的效果
都是常用的激活函数,原创 2024-05-28 20:04:31 · 615 阅读 · 0 评论 -
torch.matmul()的用法
【代码】torch.matmul()的用法。原创 2024-05-28 18:24:28 · 178 阅读 · 0 评论 -
Pytorch深度学习快速入门——P14-P33
本文参考小土堆教程视频。原创 2024-05-28 17:28:58 · 85 阅读 · 0 评论 -
PyTorch深度学习快速入门——P1-P13
当报错的时候移到那里,快捷修复,没导入包的时候好用想查看属性和方法的时候移过去按住,点击,即可跳转想查看方法要输入什么参数的时候使用读取图片,演示了一下的做法,继承了之后实现和方法,图片文件加目录为Tensorboard的使用在输入以下指令查看,可以自己定义文件夹名和端口号:均是在利用处理图片,然后用查看中间结果。Pycharm的断点失灵这个问题还没解决,不知道为什么断点无效,错误信息如下:是没问题的,但不知道为什么不行。原创 2024-05-26 19:37:49 · 955 阅读 · 0 评论