深度学习
怎么会有不写代码的小朋友呢
和志同道合的人一起变成大神
展开
-
pycharm 自动上传报:Default server mservice has no valid mappings. Automatic upload is not enabled
上传到远程服务器是上报这个错误原创 2019-12-10 14:15:41 · 4026 阅读 · 0 评论 -
BP算法(反向传播算法)
之前看书的时候看到反向传播,我当时看书的时候明白反向传播就是想通过某种学习如何调整我们的在每一层设置的权重参数,是我们的网络的损失函数达到最小。我当时觉得就是每一层进行链式求导就可以了。当时是始终都感觉迷迷糊糊的。自己做的时候就不会清楚。后面看了一下视频感觉清楚了很多,好了废话就不说了,下面我按照我看到视频一步一步的记录写下来。...原创 2019-11-17 10:21:18 · 570 阅读 · 0 评论 -
深度学习入门 基于python理论和实践读书笔记(十三)
第五章 误差反向传播法 第七节误差反向传播的实现神经网络学习的全貌图神经网络学习的前提是有适合的权重和偏置。神经网络学习分为4个步骤第一步(mini-batch)从训练数据在随机选择一部分数据。第二步(计算梯度)计算损失函数关于各个权重参数的梯度第三步(更新参数)将权重参数沿着梯度方向进行微小的更新。第四步(重复)重复上述3步骤。然后书上就用python写了TwoLaye...原创 2019-11-10 16:59:45 · 218 阅读 · 0 评论 -
深度学习入门 基于python理论和实践读书笔记(十二)
第五章 误差反向传播法 第六节Affine层现将求矩阵于偏置的和的运算用计算图表示出来。将乘积运用“dot”节点表示,则np.daot(x,w)+B的运算可用下图表示,并且在变量上面标记他们的形状。反向传播的示意图为图中左上角那两个公式我没有去推到,等需要我了解更加深入一层的时候再推导吧。各个变量的形状。尤其要注意,X和αL/αX形状相同,W和αL/αW形状相同。从下面的数学式可以很...原创 2019-11-10 14:18:08 · 176 阅读 · 0 评论 -
深度学习入门 基于python理论和实践读书笔记(十一)
第五章 误差反向传播法 第五节激活函数层是实现ReLU层激活函数ReLU的公式该函数求导后python实现ReLU类class Relu: def __init__(self): self.mask = None def forward(self,x): self.mask = (x <= 0) out = x...原创 2019-11-08 16:17:49 · 482 阅读 · 0 评论 -
深度学习入门 基于python理论和实践读书笔记(十)
第五章 误差反向传播法 第四节简单层的实现这个实现是以上一节的苹果例子。把要在计算图乘法节点称为“乘法层(MuLayer)”,加法节点称为“加法层(AddLayer)”乘法层的实现...原创 2019-11-08 15:27:55 · 285 阅读 · 0 评论 -
深度学习入门 基于python理论和实践读书笔记(九)
第五章 误差反向传播法 第一节计算图计算图将计算过程用图形表示出来,通过多个节点和边表示。用计算图求解通过节点和箭头表示计算过程。书上节点用○表示,○中是计算的内容。将计算的中间结果写在箭头的上方,表示各个节点的计算结果从左向右传递。解决的问题是(买单价为100日元,消费税为10%,求最后需要付钱的总额)两种表示示意图:计算图解题,需要按照如下流程:1 构建计算图2 在计算图...原创 2019-11-07 21:53:48 · 311 阅读 · 0 评论 -
深度学习入门 基于python理论和实践读书笔记(八)
第四章 神经网络学习 第五节学习算法的实现随机梯度下降法(SGD)就是指用于计算梯度的数据是随机选取的 mini batch数据。2层神经网络的类用python实现import os,syssys.path.append(os.pardir)from ch01.activeFunction import *from numerical_diff import numerical_...原创 2019-11-07 20:30:12 · 401 阅读 · 0 评论 -
深度学习入门 基于python理论和实践读书笔记(七)
第四章 神经网络学习 第四节第三节的内容是一些数学小知识,在高数课上老师讲过,这里我也不复习了。梯度由全部变量的偏导数汇总而成的向量称为梯度。python实现代码def numerical_gradient(f ,x): h = 1e-4 grad = np.zeros_like(x) for idx in range(x.size): #计算f...原创 2019-11-07 16:33:25 · 361 阅读 · 0 评论 -
深度学习入门 基于python理论和实践读书笔记(六)
第四章 神经网络学习 第一节从数据中学习 神经网络它的特征就是可以从数据中进行学习,在学习中自动调整权重参数(不用人去手工调整),通过对权重参数的调整,达到更高的准确率。数据驱动 数据是机器学习的命根子。...原创 2019-11-05 20:18:53 · 258 阅读 · 0 评论 -
深度学习入门 基于python理论和实践读书笔记(五)
第三章 神经网络 第六节手写数字识别这是一个运用神经网络来解决问题的实列使用的数据集是MNIST手写数字数据图像集,由0-9的数字构成。先训练图形进行学习,再用学习到的模型度量能在多大程度对测试图像进行正确的分类。 首先我们需要讲MNIST数据集下载下来,该书源码终提供了一个下载该数据集的脚本。读入数据的python脚本代码import s...原创 2019-11-04 21:56:31 · 1105 阅读 · 0 评论 -
深度学习入门 基于python理论和实践读书笔记(四)
第三章 神经网络 第五节输出层的设计神经网络可以用在回归和分类问题上面,我有一篇博客专门讲了这两个问题的区别,这里就不赘述了。恒等函数和softmax函数恒等函数顾名思义就是输入信号会原封不动的输出。softmax函数exp(x)表示ex,该式子表示输出层一共有n个输出,yk表示第k个输出信号。如果用python直接写中国公式的话,因为e1000j将会溢出,所以需要进行改进。通过书上...原创 2019-11-04 19:45:43 · 461 阅读 · 0 评论 -
深度学习入门 基于python理论和实践读书笔记(三)
第三章 神经网络 第三 四节3.1和3.2讲的是矩阵非常基础的知识,这里就不复习了,线代学习的时候老师讲过。神经网络内积用numpy矩阵来实现神经网络,暂时忽略偏置和激活函数。如下示意图。3层网络的实现先定义符号,符号书上有一张图一看就会让读者很清楚。加上偏置和权重,示意图是这样子的。下一个神经元的表达式为:如果使用矩阵乘法来表示:python代码实现import ...原创 2019-11-04 17:01:01 · 236 阅读 · 1 评论 -
深度学习入门 基于python理论和实践读书笔记(二)
第二章 感知机 后半部分你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:全新的界面设计 ,将会带来全新的写作体验;...原创 2019-11-04 15:51:57 · 239 阅读 · 0 评论 -
深度学习入门 基于python的理论和实践读书笔记(一)
书的pdf和源码需要的可以留言 该书的前两章主要是简介和python的安装和使用,这里我就从第二章开始写下自己的读书笔记。 第二章感知机1 概念多个输入,一个输出输入叫做输入信号输出叫做输出信号,输出信号只有两种状态,就是被激活(传递信号),不被激活(不传递信号)每个输入都要它自己的权重,输入信号乘以自己的权重相加就是输出信号,如果输出信号到达了某...原创 2019-11-01 21:44:36 · 844 阅读 · 1 评论