![](https://img-blog.csdnimg.cn/7f1185696a0d4b6faa7906c8831ca721.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
《深度学习入门:基于Python的理论与实现》再读笔记
文章平均质量分 71
读书笔记
非文的NLP修炼笔记
研究生在读,NLP小白一枚,希望大家多多指教~
展开
-
《深度学习入门:基于Python的理论和实现》再读笔记4
根据这个递归结构,神经网络会受到之前生成的信息的影响(换句话说,会记忆过去的信息),这是RNN的特征。然后,再受到前面生成的“我要”的影响,生成了“睡觉”这个词。实践中经常会灵活应用使用ImageNet这个巨大的数据集学习到的权重数据,这称为迁移学习,将学习完的权重(的一部分)复制到其他神经网络,进行再学习。也就是说,通过加深层,可以将各层要学习的问题分解成容易解决的简单问题,从而可以进行高效的学习。说得详细一点,就是与没有加深层的网络相比,加深了层的网络可以用更少的参数达到同等水平(或者更强)的表现力。原创 2022-08-21 11:27:40 · 308 阅读 · 0 评论 -
《深度学习入门:基于Python的理论与实现》再度笔记3
神经网络中进行的处理有推理和学习两个阶段。神经网络的推理通常不使用Softmax层。当神经网络的推理只需要给出一个答案的情况下,因为此时只对得分最大值感兴趣,所以不需要Softmax层。不过,神经网络的学习阶段则需要Softmax层。神经网络学习的全貌图前提神经网络中有合适的权重和偏置,调整权重和偏置以便拟合训练数据的过程称为学习。神经网络的学习分为下面4个步骤。从训练数据中随机选择一部分数据2.计算梯度计算损失函数关于各个权重参数的梯度。3.更新参数将权重参数沿梯度方向进行微小的更新。原创 2022-08-21 08:46:33 · 573 阅读 · 0 评论 -
《深度学习入门:基于Python的理论与实现》再读笔记(2)
此时,对该权重参数的损失函数求导,表示的是“如果稍微改变这个权重参数的值,损失函数的值会如何变化”。并且,“使性能的恶劣程度达到最小”和“使性能的优良程度达到最大”是等价的,不管是用“恶劣程度”还是“优良程度”,做的事情本质上都是一样的。作为激活函数的阶跃函数也有相同的情况。因此,在寻找函数的最小值(或者尽可能小的值)的位置的任务中,要以梯度的信息为线索,决定前进的方向。神经网络的学习中“学习”是指从训练数据中自动获取最优权重参数的过程,学习的目的就是以损失函数为基准,找出能使它的值达到最小的权重参数。..原创 2022-08-18 09:42:18 · 156 阅读 · 0 评论 -
《深度学习入门:基于Python的理论与实现》再读笔记(1)
和数组的算术运算一样,矩阵的算术运算也可以在相同形状的矩阵间以对应元素的方式进行。并且,也可以通过标量(单一数值)对矩阵进行算术运算,这也是基于广播的功能。数学上将一维数组称为向量,将二维数组称为矩阵。另外,可以将一般化之后的向量或矩阵等统称为张量。Python等动态类型语言一般比C和C++等静态型语言(编译型语言)运算速度慢。实际上,如果是运算量大的处理对象,用C/C++写程序更好。为此,当Python中追求性能时,人们会用C/C++来实现处理的内容。......原创 2022-08-17 11:07:09 · 517 阅读 · 0 评论