加文斯利的博客

CNN卷积神经网络在全连接神经网络里拿掉一些参数，就可以得到用于影像处理的CNN。CNN主要的流程为：重复卷积和Max pooling的流程，最后扁平化得到结果。卷积Convolution卷积神经网络主要面向三个问题1、相同的图案可能出现在不同的地方2、一些图案可能远比整个图案要小，比如鸟的嘴3、对像素进行子采样不会更改对象以一张黑白图为例，墨水沾到的地方设为1，没沾到的地方设为0将会有一组过滤器进行过滤，那么如何理解过滤器呢？过滤器就是一个矩阵，它类比于全连接网络中的一个神经网络，用

Why deep？就像写程序一样，不能把所有程序都放在main里，一层冗余太大，且不能“复用”。Modularization：模组化，可以用较少的数据获得较好的结果。在第二层里，将第一层的结果作为模型去生成分类器（什么意思？）正是因为样本不够多，所以才要进行深度学习，如果样本足够多，直接Big Data就可以分类了模组化-Speech语音识别的第一阶段·分类：input -> acostic feature [声学特性], output -> state[状态]如图，每次取一个窗

机器学习初识基础概念监督学习 ：Supervised Learning 数据具有标签 需要大量的训练集，输出即标签半监督学习：Semi-supervised Learning 数据少量有标签，大量无标签非监督学习：Unsupervised Learning 数据无标签迁移学习：Transfer Learning结构化学习：Structured Learning - Beyond Classification加固学习：Reinforcement Learning 强化学习回归三步走思想St

Deep LearingStep1、define a set of function（其实就是Neural Network）Step2、goodness of functionStep3、pick the best functiondeep = Many hidden layers普遍性定理：一个N维向量只需要一个隐藏层就可以转为M维向量，只要给与足够的隐藏神经元。Backpropagation 反向传播如果要处理一个音频，它可能有上百万维组成，name对这个向量进行求偏微分得到的grad