Trasper1的博客

在一个形如 y = W2 * α（W1 * x + b）的分类器中， W1参数矩阵（hidden layer L1）的行数代表着该层多个neuron的并行计算； x input矩阵的列数代表着一个mini-batch的所有samples的并行计算； ...

一个神经网络是一个遵循连接原则级联构成的函数逼近器（function approximation）。这个function将输入x转化成输出y。以image classification为例，x是图片，y是labels。 对于一个神经网络的训练，是指通过trail-and-error来获得网络中所有参数w的最优值。当网络中所有参数都取得最优值时，该网络针对某个损失函数可以在给定样本集上得到最低lo...

下文简称Tensorflow为TF，PyTorch为PT。TF出自Google之手（2015年），而PT是来自Facebook AI的一个python package（2016）。两者皆是基于Python的深度学习开发平台。其中，TF较早于PT出现，且是最广为使用的平台。然而，近年来PT大有赶超之势。本文浅谈TF和PT的异同。首先，PT是Torch的Python再开发版。Torch本是就是一个基于...

首先要明确的最顶层的概念是：CNN是一个visual representation learning的过程，所有的convolutional filters wi是学到的features template，每一个convolutional操作就是一个template matching，通过dot-product这种计算方式来量化滑窗位置的image patch xi与convolutional f...

万事皆有规律可循。学习就是去捕捉和掌握万事发生的规律。 数学地说，给定一个x（事起之因），遵循一个规律 F（*），可得一个y（事终之果）。 学习，无论人还是机器，就是去总结归纳这个F（*）。 当这个规律异常复杂从而无法显式地用数学公式直接写出来或者编程，而同时我们又围绕这个规律掌握有大量的（x，y）因果样本时，就可以采取数据驱动的方式（data-driven），来“机器学习”这个规律F（*）...

以一个ANN（MLP，级联的FC网络）为例，每一层的每一个units（neurons）代表着这一层所构建的特征空间中的一维，或者是这一层所能代表类别的某一类别的confidence： （即若ANN中的某一层有3个neuron，后一层有5个neuron，y = W * x + b, 这两层之间的W是一个5*3的矩阵。那么这两层相当于把输入为3 * dim的一个feature map转换成5 * d...

大千世界，所有可见的数据可分为两类：Euclidean Data & Non-Euclidean Data。 目前在Deep Learning的范畴里，CNN和RNN的世界里，广泛应用的images，sentences，waves，等等，都属于Euclidean data。欧式数据，直观理解为具有工整（栅格化的：grid-like）对称性的数据。 然而，网络的概念在现实生活中也是普遍存...

本文在CIFAR-10数据集上举例。CIFAR-10的训练集有50000张32*32*3的图片，包括10个类别。因此形成一个32*32*3 = 3072维的样本空间，此空间中其中包括50000个样本点。 一个机器学习（包括深度学习）多分类器的生命周期包括3大模块： 1.Score Function： 将3072维的input xi转化成一个10维的classfication score ve...

一切要从overfitting（简称OF）和网络的generalization capability（简称GC）能力说起。 overfitting是因为网络的繁华能力不足。 从有限的训练集期待学到具有无限表达能力的网络，本来就是伪命题，“infinite use by finite means”，所以overfitting是一件不可根除，只能减轻的事情。因为相比于无穷的待测试空间，训练集空间总...

训练一个的Neural Network（特指由FC层和non-linearity构成的MLP式网络），为了达到又快又好的convergence，训练前的准备非常重要。这里主要谈个主要的预训练措施：数据预处理 and 网络初始化。 一. 数据预处理： 本文还是以在CIFAR-10上做10分类任务为背景展开（训练集50000张32 * 32 * 3 = 3072dim的图片，X∈[N , D] =...

贝叶斯分类器是传统机器学习模型的一种，是在概率框架下利用训练集D观测估计样本属性（feature）与分类结果之间的后验概率关系。后验概率，就是在观测过样本的属性（feature）之后对其分类情况的概率分布（比如0.3的概率是正类，0.7的概率是反类）。贝叶斯分类器直观看就是一个由在样本集D上学习到的后验概率和likelihood组成的计算公式，在测试阶段，将输入测试样本的feature带入可以计算...

给定一个问题以及相应的data (是一个sample pair（x，y）)，若采用机器学习的手段来解决，那么要分两步走： 1. 模型选择：即选定一族函数 F，这个大F可以是SVM，linear regression，boosting，或者nerual networks（neural network就是一个funciton approximator）等等。 2. 模型参数估计：选定了模型即选定...