DL--万事开头难

本周杂事很多，党课上了一周，帮忙完成了一个资本资产定价模型的ppt（也不是太理解），还有党课讨论的笔记有待完成。这周我觉得连NN的门都没有进，所以写了个这个题目。现在由于要做毕设，所以prml的进展还是拖一拖，主要在看Goodfellow的DL、焦老师的新书，然后结合李宏毅老师的视频，框架什么的后面再说吧。下面小记一些想法，以后慢慢解答吧。

一些想法一些问题

-NN有很多结构，今天主要涉及到的就是MLP，也叫做深度前馈神经网络。从隐藏层说起吧，印象比较深，而且作为输出单元的也可以作为隐藏单元。主要讨论集中在激活函数的设计选择以及NN 的架构设计上，也就是网络的深度和宽度。古教授对于RELU和maxout单元是相当器重。开始就提到了RELU单元0处不可微的问题，这让我想起了一个交流群里一个HR问这个问题说是回答上来的人就可以获得内推。按照书上的理解，计算机帮我们省去了这个步骤（数值问题），所以不必在意这些隐藏单元激活函数的不可微性，这个问题其实我觉得起源于梯度下降算法的实际运算。那么激活函数本身有什么意义？从物理层面上考虑，可以考虑成升降维，放大缩小，旋转、平移或扭曲。这里向量机的思想就可以很好的引导我们去理解这个问题，是对原空间进行了多次的变换，最后仍然线性表征。书上举了一个含有绝对值整流单元的例子，和纸张折叠的实际模型类比，非常形象。以上是个大致的概念，这里不讨论隐藏单元线性非线性，激活函数对于梯度的影响，分段以及方向性的问题，我还不太能把握这个感觉。

-下面说一下网络的结构问题。看完有以下几个感受：（1）网络的深度与泛化能力相关，然而泛化能力越强的网络优化的空间越小，所以可以看到很多网络的设计都是有特异性的；（2）网络的宽度也就是单层neuron的个数与网络的表达能力有关，也就是特征表达；（3）很明显的看出，数据集的规模和聚类情况会对网络的结构有着明显的影响。这里用影响其实不是很合理毕竟设计上结构还是很死板的（针对基础的MLP），换句话说就是对结构有一定要求的，可以理解成结构上形成的先验吗？（我也不是太确定）；（4）梯度下降的思想好像是主流，一些特殊的优化比如稀疏连接这类的这里不讨论，还没搞清楚。

-一笔带过bp,我还有一些疑惑，所以具体的下周再说。误差反向传播的思想，显然可以用在分类上。书上提到了用计算图理解这类网络的流程，计算图的相关概念有一个链接讲的很好，鄙人理解不深，这里就不赘述了。计算图的角度看BP

-看完上面这篇博客之后发现上面PPT是李宏毅教授的，所以看了李教授今年的DL视频，B站上有，第一集，做了点笔记。讨论了几个单元，从MLP到RNN，几种改进的RNN比如双向的，金字塔的。然后提到了LSTM，GNU的概念和结构，以及对于记忆的理解。然后举了个关于TIMIT数据集的分类问题，介绍了delay的小技巧，然后贴了一个论文的研究成果，比较了在处理序列问题上的性能。我觉得对于NN的整体概念的构建有很大的帮助。下面是一些笔记，防止我扔了所以贴一下。

近期计划

-虽然很想找个模型跑跑，但是还是计划这周不碰代码，潜心把手头的书刷一刷，顺便把毕设的数据集综合一下，主要是nrel辐照度的数据，然后再整理一些气温风向等气候特征。看了几本书有个感觉就是作者高度很高，虽说内本花书说是深入浅出，但是我觉得我还是有点摸不清脉络，焦教授的新作虽然很浮，但是我觉得脉络很清晰，网上的一些书评出发点可能是从实际工程应用的角度来说的，所以建议大家还是看一看。