Hello，Sunpro!

本文转载自尹国冰的博客卷积神经网络中的Separable Convolution卷积神经网络在图像处理中的地位已然毋庸置疑。卷积运算具备强大的特征提取能力、相比全连接又消耗更少的参数，应用在图像这样的二维结构数据中有着先天优势。然而受限于目前移动端设备硬件条件，显著降低神经网络的运算量依旧是网络结构优化的目标之一。本文所述的Separable Convolution就是降低卷积运算参数量的一种典型方法。常规卷积运算假设输入层为一个大小为64×64像素、三通道彩色图片。经过一个包含4个Filter的卷

文章目录点乘 `torch.mul(a,b)`二维矩阵乘 `torch.mm(a,b)`三维矩阵乘 `torch.bmm(`a,b)高维矩阵乘 `torch.matmul(a,b)`点乘 torch.mul(a,b)点乘是对应位置元素相乘点乘都是broadcast的，可以用torch.mul(a, b)实现，也可以直接用*实现。python中的广播机制(broadcasting)broadcasting可以这样理解：如果你有一个(m,n)的矩阵，让它加减乘除一个(1,n)的矩阵，它会被复制m次，

nvidia-smi(NVIDIA System Management Interface) 是基于nvml的gpu的系统管理接口,主要用于显卡的管理和状态监控。1.基础命令nvidia-smi安装完成后在命令行或终端输入命令nvidia-smi，即可看到下面的信息（点击放大）:包含了显卡的信号、温度、风扇、功率、显存、使用率、计算模式等信息。2.实用命令#帮助nvidia-smi -h#持续监控gpu状态 （-lms 可实现毫秒级监控）nvidia-smi -l 3 #每三秒刷新一

文章目录泛函、变分与欧拉-拉格朗日方程1. 泛函2. 变分3. 欧拉-拉格朗日方程4. 两点之间直线最短的证明参考资料泛函、变分与欧拉-拉格朗日方程1. 泛函设CCC是一个由函数组成的集合，对于CCC中的任何一个元素y(x)y(x)y(x)，数集BBB中都有一个元素FFF与之对应，称F是y(x)y(x)y(x)的泛函（functional），记作F=F[y(x)]F=F[y(x)]F=F[y(x)]。一般情况下，泛函式常用积分形式表示：J[y(x)]=∫x0x1F(x,y,y′)dxJ[y(x)]

关于梯度下降法， 网上的帖子很多。可能是大家觉得推导很简单，所以都忽略了。对于我这种弱智加强迫症的人来说，有时候忽略过去推导过程好难受，所以自己推了一下，的确不难，这里与大家共享一下。

神经科学专注的点包括计算的细节实现，还有对神经编码、力学以及回路的研究。然而，在机器学习领域，人工神经网络则倾向于避免出现这些，而是往往使用简单和相对统一的初始结构，以支持成本函数（cost funcion）的蛮力最优化。近期出现了两项机器学习方面的进展，或许会将这两种看似不同的视角连接起来。第一，结构化的架构得以使用，这些架构包括注意力、递归，以及各种长、短期记忆储存专用系统。第二，随着时间以及层数的变化，成本函数

TensorFlow是Google Brain的第二代机器学习系统，2015年11月9日，作为开源软件发布。TensorFlow的计算用有状态的数据流图表示。这个库的算法源于Google需要指导称为神经网络的计算机系统，类似人类学习和推理的方法，以便派生出新的应用程序承担以前仅人类能胜任的角色和职能

上一篇转载自张俊林老师的博客，参考《batch normalization: accelerating deep network training by reducing internal》这篇论文，基本讲了一下，批处理归一化对于神经网络的意义所在及基本的原理和步骤。算是理论上的理解吧！这篇博客，我们来看一下，在TensorFlow中如何实现Normalization！

author: 张俊林 转载自：http://blog.csdn.net/malefactor/article/details/51476961Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。目前几乎已经成为DL的标配了，任何有志于学习DL的同学们朋友们雷迪斯俺的詹特曼们都应该好好学一学BN。BN倒过来看就是NB，因为这个技术确实很NB，

从一个小白，上手TensorFlow，过程还是挺复杂的。除了必要的步骤，其中还有许多小技巧，这里根据亲身经历，记录分享一下。

Windows7 caffe 配置的错误及解决

GPU 概念CUDA 概念如何查看win7电脑的GPUGPU的某种型号是否支持CUDA