皇皇零岁-CSDN博客

原创直观解读【时间反向传播bptt】

时间反向传播bptt每个时间步的隐状态和输出为：ht=f(xt,ht−1,wh),ot=g(ht,wo),\begin{aligned}h_t &= f(x_t, h_{t-1}, w_h),\\o_t &= g(h_t, w_o),\end{aligned}htot=f(xt,ht−1,wh),=g(ht,wo),其中fff和ggg分别是隐藏层和输出层的变换。因此，我们有一个链{…,(xt−1,ht−1,ot−1),(xt,ht,ot),…}\{\ldots, (x

2022-04-27 18:45:33 421

原创详细版【循环神经网络RNN】（邱锡鹏）

循环神经网络RNN详细代码实现见同专栏下博文给网络增加短期记忆能力的方法延时神经网络：在前馈网络中的每个非输出层都添加一个延时器，记录神经元的最近几次活性值。在第 t 个时刻，第 𝑙 层神经元的活性值依赖于第 𝑙 − 1 层神经元的最近𝐾 个时刻的活性值，即 𝒉𝑡(𝑙) = 𝑓(𝒉𝑡(𝑙−1) ,𝒉𝑡-1(𝑙−1) , ⋯ , 𝒉𝑡−𝐾(𝑙−1))，其中𝒉𝑡(𝑙) ∈ ℝ𝑀𝑙 表示第 𝑙 层神经元在时刻 𝑡 的活性值。有外部输入的非线性自回归模型NARX自回归模型AR：用一个变

2022-04-24 23:19:56 846

原创详细剖析【卷积神经网络CNN】现代模型

典型的CNN具体代码实现可见同专栏下的博文LeNet-5（手写识别系统）LeNet-5共有7层，接受输入图像大小为28 × 28 （图错了）输出对应 10个类别的得分C1层：卷积层，使用6个5×5的卷积核，得到6组大小为28×28 = 784 的特征映射（32-5+1）神经元数量为 6 × 784 = 4704，可训练参数数量为 6 × 25 + 6 = 156，连接数为156 × 784 = 122304（包括偏置）**说明：**回顾一下前面的卷积模型，这里输入图像只有一个特征（D=1）每

2022-04-24 23:13:29 1517 1

原创详细版【卷积神经网络CNN】基础模型（邱锡鹏）

卷积神经网络CNN全连接前馈问题：参数太多：效率低且容易过拟合局部不变特性：忽略物体的局部不变性特征，比如图像中的尺度缩放、平移、旋转等操作不影响其语义信息。如果使用全连接，则所有维度都被一视同仁，如(x1,y1) (x2,y2)中的四个数字被等价看待，但是实际上x1和x2的关联度（相关性）会高于x1和y1，一般需要进行数据增强来提高性能。卷积神经网络CNN是一种具有局部连接、权重共享、汇聚等特性的深层前馈神经网络。一维卷积（信号处理中使用）𝑦𝑡= ∑ 𝑤𝑘𝑥𝑡−𝑘+1 ( 1

2022-04-24 23:10:49 1572 1

原创图解【反向传播算法】——附详细的矩阵算法

反向传播算法首先明确！反向传播算法其实是对误差进行反向传播，其底层逻辑还是链式法则。自动梯度计算数值微分：对 𝑥 加上一个很少的非零的扰动 Δx，利用导数原始定义求解符号微分：用计算机来处理带有变量的数学表达式。自动微分AD：将所有的数值计算分解为基本操作，然后利用链式法则自动计算复合函数的梯度自动微分示例：𝑓(𝑥; 𝑤, 𝑏) = 1 / exp ( − (𝑤𝑥 + 𝑏)) + 1分解为基本操作后构建计算图，连边上的红色数字表示前向计算时复合函数中每个变量的实

2022-04-24 23:03:24 2079

原创详细版【全连接前馈神经网络】（邱锡鹏）

全连接前馈神经网络前馈神经网络又叫多层感知器，但其实是由多层的 Logistic 回归具体流程令𝒂(0) = 𝒙，前馈神经网络通过不断迭代此公式进行信息传播：𝒛 (𝑙) = 𝑾(𝑙)𝒂 (𝑙−1) + 𝒃(𝑙) , 𝒂(𝑙) = 𝑓𝑙 (𝒛(𝑙)) 首先根据第 𝑙−1 层神经元的活性值𝒂 (𝑙−1) 计算出第 𝑙 层神经元的净活性值 𝒛 (𝑙)，然后经过一个激活函数得到第 𝑙 层神经元的活性值。每个神经层就是一个仿射变换和一个非线性变换，相当于 𝒛 (𝑙) = 𝑾(𝑙)𝑓𝑙−1(𝒛(𝑙

2022-04-24 22:55:54 2321

原创动手学习pytorch之【CNN】——基础模型代码实现

Convolutional-NNSimple-CNN如果想看原理的话，请看我的同专栏下的文章一个简单的多输入通道运行过程示意图：基础实现：import torchfrom torch import nnfrom d2l import torch as d2l# 自定义的二维互相关操作def corr2d(X, K): h, w = K.shape Y = torch.zeros((X.shape[0] - h + 1, X.shape[1] - w + 1)

2022-04-24 22:52:13 1194

原创动手学习pytorch之【感知机】——基础神经网络代码实现

Perceptrons激活函数的作用：防止隐藏层经过合并后退化为原本的单层线性模型。ReLU线性修正函数是最受欢迎的激活函数（RELU(x) = max(x,0))。另外，挤压函数sigmoid也很受欢迎（sigmoid(x) = 1 / ( 1 + exp(-x) )，注意求导后是 sigmoid(x)( 1- sigmoid(x) )。torch.nn.Parameter()：self.v = torch.nn.Parameter(torch.FloatTensor(hidden_s

2022-04-24 22:47:37 1798

原创动手学习pyTorch之【线性模型】—— 具体代码实现

Linear-regression一些pytorch的函数介绍基础y = torch.tensor([0, 2])y_hat = torch.tensor([[0.1, 0.3, 0.6], [0.3, 0.2, 0.5]])y_hat[[0, 1], y]tensor([0.1000, 0.5000])相当于获取 (0,0) 和 (1,2)正态分布torch.normal(mean, std, *, generator=None, out=None)# 从一个标准正态分布

2022-04-24 22:44:37 736

原创动手学习pyTorch之【计算过程】——从基础模块类开始

Computation神经网络块：描述单个层、由多个层组成的组件或整个模型本身（模块化）。块由类表示，它的任何子类都必须定义一个将其输入转换为输出的前向传播函数，并且必须存储任何必需的参数。注意，有些块不需要任何参数。为了计算梯度，块还必须具有反向传播函数。在自定义时，由于自动微分提供了一些后端实现，我们只需要考虑前向传播函数和必需的参数。模块实例：nn.Sequential是一种表示一个块的类，它定义了一种特殊的Module，即维护了一个由Module组成的有序列表。上面的实例化例子中，两个

2022-04-24 22:40:54 393

原创探讨【查找】的经典题目（很重视细节）

查找二分查找看似简单，思路也很清晰，但是在实际编程很容易因为各种边界问题而出问题，尤其是当区间中最后只剩下一两个数时，非常容易陷入死循环。经常结合递归来解题。练手题：69（数学解法） 34 540 434：在排序数组中查找元素的第一个和最后一个位置相当于实现C++ 里的 lower_bound 和 upper_bound 函数。我们先对半分，然后根据中间元素向两边进行扩展（或单边）。要非常注意死循环问题和没找到的情况。class Solution {public: int lo

2022-04-24 22:36:51 136

原创详细版【线性模型】（邱锡鹏）

线性模型线性组合函数：𝑓(𝒙; 𝒘) = 𝑤1𝑥1 + 𝑤2𝑥2 + ⋯ + 𝑤𝐷𝑥𝐷 + 𝑏 = 𝒘T𝒙 + 𝑏，其中 𝒘 = [𝑤1 , ⋯ , 𝑤𝐷] T 为 𝐷 维的权重向量，𝑏为偏置。在分类问题中，由于输出目标 𝑦 是一些离散的标签，而 𝑓(𝒙; 𝒘) 的值域为实数，因此需要引入一个非线性的决策函数𝑔(⋅)来预测输出目标 𝑦 = 𝑔(𝑓(𝒙; 𝒘))，其中𝑓(𝒙; 𝒘)也称为判别函数。一个线性分类模型LCM或线性分类器LC是由一个（或多个）线性的判别函数 𝑓(𝒙; 𝒘) = 𝒘T𝒙 + 𝑏

2022-04-18 10:14:26 458

原创详细入门【自顶向下LL(1)】

确定的自顶向下分析思想首先要解决从文法的开始符号出发，如何根据当前的输入符号（单词符号）唯一确定选用哪个产生式替换相应非终结符往下推导（从左到右一一匹配）。几个关键变量First集合：当前符号可能产生式的首字母，为空则为 ϵ\epsilonϵ。算法如下：（大白话就是直接当前字符可以推出的产生式右端的第一个字符，如果是非终结符就转换成寻找当前字符的first，终结符直接加入。注意一下如果first含有空字符，还得将follow加入）Follow集合：紧跟当前符号的下一个字符，结尾用#表示。算..

2022-04-15 21:12:41 204