Hongyi Li ----a lecture summary

Deep Learning：

1.入门介绍：
❤️❤️❤️❤️❤️❤️❤️http://www.cnblogs.com/liuyihai/p/8321299.html
（对到皮层运作机制，人脑视觉机理讲的挺好）
（哪里都写的很好哦❤️❤️????）
目前我们通过机器学习去解决这些问题的思路都是这样的（以视觉感知为例子）：

从开始的通过传感器（例如CMOS）来获得数据。然后经过预处理、特征提取、特征选择，再到推理、预测或者识别。最后一个部分，也就是机器学习的部分，绝大部分的工作是在这方面做的，也存在很多的paper和研究。
而中间的三部分，概括起来就是特征表达。良好的特征表达，对最终算法的准确性起了非常关键的作用，而且系统主要的计算和测试工作都耗在这一大部分。但，这块实际中一般都是人工完成的。靠人工提取特征。
Deep Learning=UnsupervisedFeature Learning（所以deep learning 区别于之前的机器学习主要之处是：实现了非监督的特征表达，之前的方法多是手工选取特征）
下面放一个美丽的图：

神经-中枢-大脑的工作过程，或许是一个不断迭代、不断抽象的过程。
这里的关键词有两个，一个是抽象，一个是迭代。从原始信号，做低级抽象，逐渐向高级抽象迭代。人类的逻辑思维，经常使用高度抽象的概念。（感谢无数只被实验的小猫猫）

总的来说，人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形状或者目标的部分等，再到更高层，整个目标、目标的行为等。也就是说高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图。而抽象层面越高，存在的可能猜测就越少，就越利于分类。例如，单词集合和句子的对应是多对一的，句子和语义的对应又是多对一的，语义和意图的对应还是多对一的，这是个层级体系。

特征表示的粒度：

搞着玩的代码，用于数字识别使用keras




使用ADAM来化解local optimize

how to solve the overfitting:
1)you can create more training data .such as shift 15 degree.
2)add some noise into the dataset

how to thinner the layer(to perform good on the testing dataset)

1)early stopping(stop before you totally fit the training dataset)

2)weight decay(cut the things has no sense of meaning on it)

3)dropout(drop the neuron has no meaning)

❤️use CNN to process the picture :
1)because you can identify a object by some obvious feature ,so you can use some part of the object to see what the picture is represent.such as you can use a beak to identify a bired.
2)you do not want to process a large picture with mass of useless pixels ,so you can subsampling the picture to get lass pixels to let the process be more easy.also means “less parameters for the network to process the image”

CNN原理：通过不同filter 来做运算（也许是与运算）以此来求出使用不同filter时，将会得到的预测结果。

use shared weights to arrive the goal that (use even less parameter )

RNN:

deep reinforcement learning

in the end :
放个美女：✌️✌️✌️✌️✌️✌️

in the end end end ,advertisement :