连理o的博客

BERT 的改进模型

deep infomax

Speech Separation

目录Sophisticated InputWhat is the output?Sequnce LebelingSelf-attention矩阵运算Multi-head Self-attentionPositional EncodingApplicationsSelf-attention v.s. CNNSelf-attention v.s. RNNSelf-attention for GraphTo learn moreTransformerEncoderDecoder - Autoregressive

本文为李宏毅 2021 ML 课程的笔记目录Sequence-to-sequence (Seq2seq)EncoderDecoder - Autoregressive (AT)Sequence-to-sequence (Seq2seq)Seq2seq: Input a sequence, output a sequence (The output length is determined by model)Encoder输入一组向量，输出一组同样长度的向量 (Transforme.

本文为李宏毅 2021 ML 课程的笔记目录The models become larger and larger …Self-supervised LearningBERT seriesWhat is BERT?Pre-training objectiveMasked language model (MLM)Next sentence predictionGeneral Language Understanding Evaluation (GLUE)fine-tuningCase 1: Sentim.

本文为李宏毅 2021 ML 课程的笔记目录Explainable AI: Why Does the Model Make This PredictionWhy we need Explainable ML?Interpretable v.s. PowerfulGoal of Explainable MLExplainable MLLocal Explanation: Explain the DecisionWhich component is critical for making decision.

目录ImageNetPASCAL VOCCOCO(Common Objects in Context)ImageNetImageNet数据集共有1400多万张图片，2万多个类别，超过百万的图片有明确的类别标注以及物体的位置信息。PASCAL VOCPASCAL(pattern analysis, statistical modelling and computational learning) VOC为图像分类与图像检测提供了一整套标准的数据集。其中常用的数据集有VOC 2007和VOC 2012。

本文为《深度学习入门 基于Python的理论与实现》的部分读书笔记代码以及图片均参考此书目录感知机(perceptron)是什么利用感知机实现与门，与非门以及或门利用感知机实现异或门感知机的局限性多层感知机实现异或门感知机(perceptron)是什么b 称为偏置，w1 和w2 称为权重利用感知机实现与门，与非门以及或门import numpy as npdef perceptron(x, w, b): val = np.sum(x * w) + b return 0

本文为《深度学习入门 基于Python的理论与实现》的部分读书笔记代码以及图片均参考此书目录复习感知机激活函数(activation function)sigmoid函数tanh函数ReLU(Rectified Linear Unit)函数神经网络的前向传播通过矩阵点积运算打包神经网络的运算引入符号各层间信号传递的实现输出层的设计softmax函数输出层的神经元数量批处理复习感知机之前介绍的朴素感知机：现在明确地写出朴素感知机中的激活函数h(x)(阶跃函数)阶跃函数的实现def s

本文为《深度学习入门 基于Python的理论与实现》的部分读书笔记代码以及图片均参考此书目录损失函数(loss function)为何要设定损失函数均方误差(mean squared error)交叉熵误差(cross entropy error)mini-batch学习数值微分梯度法寻找函数的最小值神经网络的梯度参数的更新学习算法的实现损失函数(loss function)为何要设定损失函数在进行神经网络的学习时，不能将识别精度作为指标。因为如果以识别精度为指标，则参数的导数在绝大多数地方都会变

本文为《深度学习入门 基于Python的理论与实现》的部分读书笔记代码以及图片均参考此书目录计算图用计算图求解局部计算反向传播加法节点的反向传播乘法节点的反向传播链式法则与计算图通过计算图进行反向传播激活函数层的实现Relu层Sigmoid层Affine/Softmax层的实现Affine层Softmax-with-loss(cross enrtopy loss)层正向传播反向传播梯度确认(gradient check)通过组装各个层重新实现二层神经网络计算图用计算图求解问题1： 太郎在超市买了

本文为《深度学习入门 基于Python的理论与实现》的部分读书笔记代码以及图片均参考此书目录参数的更新SGD(stochastic gradient descent)介绍更多优化方法之前的预热指数加权平均（Exponentially weighted average）带偏差修正的指数加权平均(bias correction in exponentially weighted average)MomentumNesterov MomentumAdaGrad(Adaptive Gradient)RMSpro

本文为《深度学习入门 基于Python的理论与实现》的部分读书笔记代码以及图片均参考此书目录权重的初始值权重初始值可以设为0吗(随机生成初始值的重要性)观察权重初始值对隐藏层激活值分布的影响Xavier 初始值He初始值归一化输入(Normalizing inputs)Batch NormalizationBN层的正向传播BN层的反向传播基于计算图进行推导不借助计算图，直接推导代码实现权重的初始值权重初始值可以设为0吗(随机生成初始值的重要性)在神经网络的学习中，权重的初始值特别重要。实际上，设定

正则化、超参数的验证、端到端的深度学习

本文为《深度学习入门 基于Python的理论与实现》的部分读书笔记代码以及图片均参考此书目录MNIST数据集数据集简介数据集下载及预处理MNIST数据集数据集简介这里使用的数据集是MNIST手写数字图像集。MNIST是机器学习领域最有名的数据集之一，被应用于从简单的实验到发表的论文研究等各种场合。MNIST数据集是由0到9的数字图像构成的（图3-24）。训练图像有6万张，测试图像有1万张。MNIST的图像数据是28像素× 28像素的灰度图像（1 通道），各个像素的取值在0到255之间。每个图像

本文为《深度学习入门 基于Python的理论与实现》的部分读书笔记，也参考吴恩达深度学习视频代码以及图片均参考此书目录CNN网络整体结构卷积层CNN网络整体结构CNN 的层的连接顺序是“Convolution - ReLU - (Pooling)”（Pooling 层有时会被省略）。还需要注意的是，在上的CNN中，靠近输出的层中使用了之前的“Affine - ReLU”组合。此外，最后的输出层中使用了之前的“Affine - Softmax”组合。这些都是一般的CNN中比较常见的结构。卷积层

本文为《深度学习入门 基于Python的理论与实现》的部分读书笔记，也参考吴恩达深度学习视频代码以及图片均参考此书目录CNN的实现CNN的可视化CNN的实现本节将实现以下结构的简单CNN默认在MNIST数据集上工作，输入数据形状为(1,28,28)(1,28,28)(1,28,28)，卷积层使用 1×5×51 \times 5 \times 51×5×5 的滤波器，滤波器个数为30，不进行填充，步长为1，因此卷积层之后数据形状为(30,24,24)(30,24,24)(30,24,24)。池化层

本文为《深度学习入门 基于Python的理论与实现》的部分读书笔记代码以及图片均参考此书目录加深层的动机减少网络的参数数量使学习更加高效深度学习的高速化基于GPU的高速化分布式学习运算精度的位数缩减实现深层CNN深度学习的应用案例(简介)物体识别物体检测图像分割加深层的动机减少网络的参数数量说得详细一点，就是与没有加深层的网络相比，加深了层的网络可以用更少的参数达到同等水平（或者更强）的表现力。这一点结合卷积运算中的滤波器大小来思考就好理解了。使用 5×55 \times 55×5 的滤波器每

本文参考：《DIVE INTO DEEP LEARNING》目录LeNetAlexNetLeNetLeNet是进行手写数字识别的网络LeNet分为卷积层块和全连接层块两个部分，激活函数都使用sigmoid。在卷积层块中，每个卷积核的stride均为1，padding均为0。第一个卷积层输出通道数为6，第二个卷积层输出通道数则增加到16。这是因为第二个卷积层比第一个卷积层的输入的高和宽要小，所以增加输出通道使两个卷积层的参数尺寸类似。卷积层块的两个最大池化层的窗口形状均为 2×22×22×2 ，

本节参考：《深度学习之PyTorch物体检测实战》《DIVE INTO DEEP LEARNING》目录VGG块VGG网络VGG块VGG提出了可以通过重复使用简单的基础块来构建深度模型的思路VGG块的组成规律是：连续使用数个相同的填充为1、窗口形状为3×33×33×3的卷积层后接上一个步幅为2、窗口形状为2×22×22×2的最大池化层。卷积层保持输入的高和宽不变，而池化层则对其减半。多个3×33×33×3的卷积核进行堆叠，相比更大的卷积核，在获得相同感受野的情况下，所需参数量更少。同时因为拥有更

本节参考：《DIVE INTO DEEP LEARNING》目录NiN块NiN模型为什么NiN块中要有两个1x1卷积层？AlexNet和VGG对LeNet的改进主要在于如何对卷积层和全连接层模块加宽（增加通道数）和加深。而NiN提出了另外一个思路，即串联多个由卷积层和“全连接”层构成的小网络来构建一个深层网络。NiN块1×11×11×1 卷积层中可以把通道当作特征，高和宽上的每个元素相当于样本。因此，NiN使用 1×11×11×1 卷积层来替代全连接层，从而使空间信息能够自然传递到后面的层中去(可以

本节参考：《深度学习之PyTorch物体检测实战》《DIVE INTO DEEP LEARNING》、吴恩达深度学习视频目录Inceptionv1Inception块GoogLeNet模型Inceptionv2Inceptionv2的基础模块结构Inceptionv2的改进模块结构Inceptionv2的并行结构Inceptionv2整体结构Inceptionv3使用标签平滑(label smoothing)来对网络输出进行正则化关于分支分类器 Auxiliary Classifiers 的纠正Ince

本节参考：《深度学习之PyTorch物体检测实战》《DIVE INTO DEEP LEARNING》、吴恩达深度学习视频目录Residual block (残差块)ResNet网络结构改进残差块内的结构让我们先思考一个问题：对神经网络模型添加新的层，充分训练后的模型是否只可能更有效地降低训练误差？理论上，原模型解的空间只是新模型解的空间的子空间。也就是说，如果我们能将新添加的层训练成恒等映射 f(x)=xf(x)=xf(x)=x ，新模型和原模型将同样有效。由于新模型可能得出更优的解来拟合训练数据集，

本节参考：《深度学习之PyTorch物体检测实战》《DIVE INTO DEEP LEARNING》目录Function Decomposition稠密块（dense block）过渡层（transition layer）DenseNet模型Why do we use average pooling rather than max-pooling in the transition layer?high memory consumptionWhy do we not need to concatenat

目录多尺度问题特征金字塔: FPNReferences多尺度问题多尺度问题: 为了增强语义性，传统的物体检测模型通常只在深度卷积网络的最后一个特征图上进行后续操作，而这一层对应的下采样率通常又比较大，如 16、32，造成小物体在特征图上的有效信息较少，小物体的检测性能会急剧下降特征金字塔: FPN解决多尺度问题的关键在于如何提取多尺度的特征。传统的方法有图像金字塔 (Image Pyramid)，主要思路是将输入图片做成多个尺度，不同尺度的图像生成不同尺度的特征，这种方法简单而有效，大量使用在

目录SqueezeNet: Squeeze and ExpandFire ModuleSqueezeNetSqueezeNet 总结MobileNet: Depthwise Separable ConvolutionShuffleNet: 通道混洗参考文献SqueezeNet: Squeeze and ExpandFire ModuleSqueezeNet 的主要模块为 Fire Module，它主要从网络结构优化的角度出发，使用了如下 3 点策略来减少网络参数，提升网络性能：(1) 使用 1×