shenxiaolu1984的专栏

本文介绍深度神经网络从几层加深到一千层的各种关键技术，尤其聚焦残差结构(Residual)在其中发挥的作用。

本文参考Torch的dpnn包中Inception层的源码，讲解该模块参数含义以及网络结构。核心思想Inception模块的起点是类似下图的结构：通道从M变换到N，把多个不同尺寸的卷积结果串接（concat）起来。 由于M,N往往很大，这种结构的模型大小和运算量都不小。 卷积运算，输入M层，输出N层，核尺寸k。输入数据大小H*W。 卷积参数数量：weight + b

MCMC（Markov Chain Monte Carlo）是一种经典的概率分布采样方法。本文对其概念和常见算法做简单梳理。解决什么问题？我们常常遇到这样的问题：模型构建好之后，有一个概率p(x)p(x)（称为目标分布），不能显式的给出其表达，只能生成一系列符合这个分布的xx。这种问题称为“采样”。特别地，在贝叶斯方法中，关注的是后验概率p(x|D)p(x|D)。在给定观测DD的情

本文不做数学推导，仅从最简单的概念上讲解核方法。问题有训练样本xix_i，其标定yiy_i, i=1,2…N。 欲求解一个回归函数f(z)f(z)，希望f(xi)=yif(x_i)=y_i。线性回归使用线性函数来预测，即f(z)=wTzf(z)=w^Tz。 求解方法有许多种，以脊回归(Ridge Regression)为例，最小化下列函数即可： λ||w||2+∑i(

梯度下降方法的收敛率是O(1/t)O(1/t)。本文首先介绍梯度下降算法的定义，之后解释收敛性的意义，并给出梯度下降算法收敛性详细证明过程1。梯度下降算法设系统参数为xx。对于样本ii，其代价函数为fi(x)f_i(x)。在n个样本组成的训练集上，其整体代价函数为： f(x)=∑i=1nfi(x)f(x)=\sum_{i=1}^nf_i(x)要求ω\omega使得上式最小，

在训练较为复杂的RNN类型网络时，有时会采取正交方法初始化(orthogonal initialization)网络参数。本文用简单的例子介绍其中的原因。本文较大程度参考了这篇博客。简单例子RNN具有如下形式： ht=fh(W⋅ht−1+V⋅xt)h_t=f_h(W\cdot h_{t-1}+V\cdot x_t)yt=fy(U⋅ht)y_t = f_y(U\cdot h

本文介绍推荐系统基础算法Factorization Machines的模型思想、计算与优化方法。

介绍深度学习中内存的开销来源，以及降低内存需求的几种解决方案。

在应用Markov Chain Monte Carlo的文章中，常常遇到这样的说法：“马氏链的混合速度”，“某马氏链混合很慢”，“转移概率严重尖峰（peaked）”。本文用简单的例子讲解这一概念。

logistic代价和softmax代价

本文利用Torch中的代码Reinforce.lua对强化学习做进行初步探索。给出一个最简单的源码作为例子。

利用Torch中的rnn库展示RNN基本流程。

本文从零开始，动手玩一玩Nicolas Leonard在Torch框架下提供的rnn库。这里以每一个类为单位，使用简单的例子进行演练，比作者提供的一系列demo更加好懂。

本文本着由浅入深原则介绍LSTM模块结构，使用流程图梳理公式，保证看完过目不忘，神清气爽。

本文介绍常见数值优化算法，其中的一阶方法在现代的神经网络框架(tensorflow, torch)中已经是标准配置，介绍较详细。

本文尝试用最简明直白的图示，帮助理解和记忆Receptive Field的计算方法。什么是Receptive Field？在CNN中，第n层特征图中一个像素，对应第1层（输入图像）的像素数，即为该层的Receptive Field，简称RF。基本思路网络第1层输入，第n" role="presentation" style="position: relative;">nn