深度学习
JoJo的奇妙代码
这个作者很懒,什么都没留下…
展开
-
基于Python的深度学习理论与实现(P8——误差反向传播算法)
误差反向传播算法 之前,我们使用数值微分计算了神经网络的权重参数的梯度(严格来说,是损失函数关于权重参数的梯度)。数值微分容易实现,但是缺点在于计算上比较耗费时间。所以,在训练神经网络时,一般使用误差反向传播 算法来高效的计算权重参数的梯度。 计算图 书中以计算图的方法引入关于反向传播算法的概念。 计算图将计算过程用图形的方式表现出来,这里的图指的是数据结构图,即节点和边。现在我们用计算图来...原创 2019-10-23 19:24:37 · 711 阅读 · 0 评论 -
基于Python的深度学习理论与实现(P7——简单神经网络的实现)
回到神经网络 前面介绍了损失函数、Mini-batch、导数和梯度,现在我们做一个整合,将前面的内容整合起来并重新回到神经网络的学习过程中。 我们现在知道,损失函数描述的是真实数据与预测结果的误差,真实数据,比方说一张手写的5,我们的输入,比方说一张手写的3,我们将这个图像作为输入(忽略所有的图像处理的内容),这张输入的图片通过与神经网络与参数(可能包含多层,每层还有可能相同可能不相同的激活函...原创 2019-10-20 22:22:26 · 229 阅读 · 0 评论 -
基于Python的深度学习理论与实现(P6——导数、偏导数与梯度)
导数 一个函数对其某个参数的导数,就是这个函数的函数值在这个参数极微(即无穷小)变化下的发生的变化量。(虽然很绕口,但是本人认为比数学上传统的定义更好理解)导数的数学形式可以表示为: df(x)dx=limh→0f(x+h)−f(x)h \frac{df(x)}{dx} = \lim_{h\rightarrow 0}\frac{f(x+h)-f(x)}{h} dxdf(x)=h→0limh...原创 2019-10-20 19:22:53 · 855 阅读 · 0 评论 -
基于Python的深度学习理论与实现(P5——mini-batch学习)
mini-batch原创 2019-10-16 22:55:18 · 794 阅读 · 0 评论 -
基于Python的深度学习理论与实现(P4——神经网络的学习与损失函数)
神经网络的学习 前面提到了神经网络与感知机的一个重要区别——激活函数。现在介绍神经网络的另外一个精髓——学习。 神经网络的学习指的是从训练数据中自动获得最优权重参数的过程。 从以上的定义中,我们可以看出神经网络学习中的几个重点。 数据: 数据是所有机器学习算法中的根本,深度学习当然也不例外,从数据中寻找答案、从数据中发现模式是机器学习算法的根本模式和核心内容。这种以数据为驱动的方式,脱离...原创 2019-10-14 14:19:20 · 304 阅读 · 0 评论 -
基于Python的深度学习理论与实现(P3——神经网络的实现与输出)
神经网络的实现与输出 由上一篇的内容可以看出,神经网络可以认为是多层的、每层由平滑激活函数激活的朴素感知机。至此我们可以实现一个三层神经网络的向前传播。向前传播表示从输入到输出方向的传递处理,它表示的是一次完整的映射过程;与之向对应的是向后传播,它表示从输出层到输入层的传递,向后传播是一次完整的过程,这部分内容也是神经网络的精髓,在后续内容中会着重涉及。 现在我们使用Python实现一个三层神...原创 2019-10-14 11:19:33 · 295 阅读 · 0 评论 -
基于Python的深度学习理论与实现(P2——神经网络)
神经网络 基于多层感知机实现的逻辑运算可以表示任何复杂的函数,甚至可以表示整个计算机的复杂处理,但是,感知机设定权重的工作还是由人工来完成,这项工作的完成不仅仅是复杂低效的,而且需要具有极强的先验知识,这与人工智能的基本思想大相近庭。 朴素感知机与神经网络的基本区别就在于神经网络可以自动地从数据中学习到合适的权重参数 ...原创 2019-10-13 22:33:16 · 264 阅读 · 0 评论 -
基于Python的深度学习理论与实现(P1——感知机)
本文作为日本斋藤康毅《深度学习入门—基于Python的理论与实现》的学习总结(国内译版本由人民邮电出版社出版)。 首先作为一个半路出家的人工智能初学者和爱好者,在网上首先购入的就是花花草草的DL和瓜田丰收的ML,拿到这两本书捧在手上顿时感觉一种学院派的气息,走在路上都格外的有格调。 但是这两本书让一个像白纸一样的我陷入了深深的自卑与 ...原创 2019-10-13 19:21:26 · 194 阅读 · 0 评论