![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
读书笔记
wolf totem
射天狼
展开
-
NNDL读书笔记线性模型
文章目录读NNDL疑难点三第三章【线性模型】3.1多分类时,类别的不可判断区域的判定:3.3softmax参数学习中风险系数R(w)R(w)R(w)关于W的梯度以及推导:感知器: 读NNDL疑难点三 第三章【线性模型】 3.1多分类时,类别的不可判断区域的判定: 3.3softmax参数学习中风险系数R(w)R(w)R(w)关于W的梯度以及推导: ∂R(w)∂W=−1N∑n=1Nx(n)(x(n)−y^(n))T\frac{\partial R(w)}{\partial W}=-\frac1N\sum_{原创 2020-09-08 12:32:41 · 88 阅读 · 0 评论 -
NNDL读书笔记第六章RNN
循环神经网络 RNN 具有短期记忆能力,参数的学习可以通过随时间反向传播算法来学习。随时间反向传播算法按照时间的逆序讲错误一步步地往前传递,当输入序列比较长,会有梯度的爆炸和消失的问题,即长程依赖问题,引入门控机制。 网络增加记忆能力 延时神经网络 延时神经网络是在前馈网络中的非输出层都添加一个延时器,记录神经元的最近几次活性值.在第t个时刻: 有外部输入的非线性自回归模型 自回归模型,用一个变量yty_tyt的历史信息来预测自己: 其中K为超参数,w0…wK为可学习参数,ϵt\epsilon _tϵ原创 2020-09-12 11:15:35 · 277 阅读 · 0 评论 -
NNDL第五章笔记CNN
文章目录卷积神经网络卷 积一维卷积二维卷积互相关卷积的变种卷积的数学性质交换性导数(难点)5.2卷积神经网络使用卷积来代替全连接卷积层汇聚层 卷积神经网络 卷积神经网络:是一种具有局部连接,权重共享等特性的深度前馈神经网络。 在用全连接前馈网络来处理图像时,会有以下两个问题: 参数过多,容易出现过拟合现象。 局部不变性特征:全连接前馈网络很难提取这些局部不变性,一般需要进行数据增强来提高性能。 目前的卷积神经网络一般是由卷积层,汇聚层和全连接层交叉堆叠而成的前馈神经网络,卷积神经网络有三个结构上的特性:原创 2020-09-10 20:15:52 · 169 阅读 · 0 评论 -
NNDL第四章笔记
文章目录NNDL第四章笔记4.1神经元sigmoid型函数logistic函数:Tanh函数:Hard—logistic 函数和Hard—Tanh函数ReLU函数 NNDL第四章笔记 (随意写的,不可参考) 人工神经网络(ANN):模拟神经元的数学模型 神经网络最早是作为一种主要的连接主义模型。之后最流行的连接模型是分布并行处理,它有三个特性: 信息表示是分布式的(非局部的)。 知识单元之间的连接上。 改变单元的强度来学习。 早期的NN关注生物性,后期偏向特定的能力的模拟。尤其引入误差反向传播算法。 4原创 2020-09-09 11:48:26 · 243 阅读 · 0 评论