庞琳卓的博客

BackgroundCovariance shift ——when the input distribution to a learning system changes, it is said to experience covariance shift.当这种现象发生在多层神经网络之间时，即前面层参数的改变，使得后面层的输入分布发生改变时，就叫Internal covariance shif

首先介绍1x1卷积核的作用，其次分别引出Inception及Xception的思想1x1卷积核的作用1.实现跨通道信息的整合或拆分首先看一下2x2的卷积核输入：4x4x3 卷积核：2x2x3x1 输出：3x3x1 2X2的卷积核将图中的12个输入节点组合映射到1个输出节点上。 接着看1x1的卷积核输入：4x4x3 卷积核：1x1x3x2 输出：4x4x2 1x1的卷积核将下面左

背景 There exists a solution by construction to the deeper model: the added layers are constructed as identity mappings, and the other layers are copied from the learned shallower model. The existence

本文采用Deconvnet对CNN学习到的features进行可视化。核心思想 对CNN的第n层中的某一个feature map，每一个unit就是一个activation，当我们想要可视化某一个activation时，将第n层中除了这个activation以外的所有feature maps中的activations都设为零，一起输入给deconvnet，即可得到一个reconstruction

RCNN：Regions with CNN背景 在RCNN出现以前，目标检测系统一般通过将多个low-level图像特征进行结合，来产生high-level的特征。创新点 1.将CNN与region proposals相结合，首次展现出CNN在object detection问题上的强大威力，各种碾压传统方法 2.将图像分类与目标检测联系起来，利用预训练好的图像分类模型+少量数据的domain

深度学习中的卷积与反卷积卷积与反卷积操作在图像分类、图像分割、图像生成、边缘检测等领域都有很重要的作用。为了讲明白这两种操作，特别是反卷积操作，本文将依照 * 神经网络中的编码器——解码器——卷积——反卷积* 的思路来一步步介绍。编码器神经网络本质上就是一个线性变换，通过将输入的多维向量与权重矩阵相乘，得到一个新的多维向量。当输入向量的维度高于输出向量的维度时，神经网络就相当于一个编码器，例如下图

Purpose **To formalize the impact of a training point on a prediction, we ask the counterfactual: what would happen if we did not have this training point, or if the values of this training point w

Meta learning就是learning to learn，字面意思就是学会学习。想一下人是怎么学会学习的： 采用一种学习方法（比如刷题/背题/背概念等）进行学习，然后得到反馈（成绩是否提高），如果是正的反馈（成绩不断提高），说明这种学习方法是有效的。 那么神经网络是如何学会学习的呢？ 采用一种学习方法（对于神经网络来说，就是模型的参数）进行学习，然后得到反馈（误差关于参数的梯度），