![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
且听风吟0618
起风了,唯有努力生存。
展开
-
Pytorch笔记
目录tensor与array转换查看 Tensor 数据类型Tensor数据类型转换扩维(unsqueeze)和降维(squeeze)更改数据维度PIL和OpneCV的RGB排列ToTensortorch.view()参数 inplace判断一个对象是否可以迭代ipython 常用指令模块函数Visdom 可视化tensorboardX 可视...原创 2019-11-30 21:31:43 · 2631 阅读 · 0 评论 -
理解常用的3个梯度下降法
此文章以均方误差的损失函数为例假设样本 为 矩阵,即 个样本(假设为 65536 个), 维特征。学习率:1 批量梯度下降法(batch Gradent Descent)简介:每次利用所有样本(个)来进行损失计算,然后利用所有样本(个)来计算导数,最后更新参数。批量梯度下降 计算损失 作用:计算所有样本集(个)的误差和公式: 梯度下降 ...原创 2019-05-20 10:02:29 · 803 阅读 · 0 评论 -
深度学习笔记
持续更新...目录sigmoid和tanh的缺点softmax回归神经网络计算结构针对问题的不同算法one-hot表示阶跃函数做激活函数的问题卷积层和池化层的展开实现图像上采样(upsampling)和下采样(downsampling)名词解释卷积的部分连接神经网络的本质Global Pooling (全局池化)sigmoid和tanh的缺点...原创 2019-07-19 17:23:11 · 407 阅读 · 0 评论 -
卷积神经网络概述
目录人类视觉原理1整体描述2基本理论2.1卷积(convolution)2.2步长(stride)2.3填充(padding)Valid卷积Same卷积Full卷积2.4三维卷积2.5 1x1卷积2.6偏置(bias)2.7池化(pooling)2.8全局池化 (Global Pooling)2.9激活函数(activation func...原创 2019-08-08 22:11:46 · 34978 阅读 · 3 评论 -
前向和反向传播公式推导
1 定义网络结构 假设某二分类问题的网络结构由如图1.1组成(暂仅以2层网络举例,更高层数可依此类比),其输入的特征向量维数为n,隐藏层神经元个数为 ,输出层神经元个数为(由于是二分类问题,故仅含一个)。图1.1 神经网络结构 其训练过程为:首先获取训练数据 X ,初始化每层的训练参数 w、b ,并通过前向传播算法(包含线性前向传播和激活函数前向传播)得...原创 2019-04-13 10:14:12 · 4311 阅读 · 4 评论 -
推导反向传播中的dZ=A - y
在吴恩达老师的反向传播课程中,涉及到如下公式:,在向量化后为 ,下述为推导过程:因为,且,在最后一层网络中故在逻辑回归中,损失函数故又因为,在文章中所述的网络结构中,最后一层激活函数g(z)为sigmoid函数,故其导函数为因为,故所以向量化后即为推导完后发现吴恩达老师其实在课件中已经推导过了(《吴恩达深度学习v5.57》的...原创 2019-04-12 11:10:51 · 2506 阅读 · 10 评论