第一次作业：深度学习基础

 问题：对矩阵范数以及矩阵求导的理解比较迷糊

一，深度学习是什么，怎么做，分为几类？ 

1，机器学习定义     

最常用的定义 “计算机系统能够利用经验提高自身的性能”

可操作定义  “机器学习本质是一个基于经验数据的函数估计问题”

统计学定义 “提取重要模式、趋势，并理解数据，即从数据中学习”

 2，机器学习如何进行学习   模型：对要学习问题映射的假设（问题建模，确定假设空间）

 策略：从假设空间中学习、选择最优模型的标准（确定目标函数）

算法：根据目标函数求解最优模型的具体计算方法（求解模型参数）

3，根据其样本是否标记分为监督学习与无监督学习，半监督学习

监督学习：样本具有标记，从数据中学习标记分界面

非监督学习：样本没有标记，从数据中学习模式，适用于描述数据

半监督学习：部分数据标记已知，监督学习和无监督学习的混合

强化学习：数据标记未知，但是知道与输出目标相关的反馈，使用决策类问题

4，根据其数据分布，分为参数模型与无参数模型

参数模型：对数据分布进行假设，待求解的数据模式、映射可以用一 组有限且固定的参数进行刻画

非参数模型：不对数据分布进行假设，数据的所有统计特性都来源于 数据本身

5，根据建模对象分为判别模型与生成模型

判别模型：对已知输入X条件下输出Y的条件分布P(Y\X)建模

生成模型：对输入X和输出Y 的联合分布P(Y\X)建模

二，深度学习的操作过程变迁

 1，前深度学习时代：花几天时间收集图片并标注，并绞尽脑汁设计或选择一些特征，之后用某种分类器训练和测试，结果不好继续回滚找特征。

2，深度学习时代：花几个周时间收集并标注几万张图片，花一个星期，挑几个深度模型，选几组模型超参数，之后交给机器绞尽脑汁优化模型中数千万/数以亿计的权重参数

3，后深度学习时代：我们期待花几分钟时间收集并标注几张图片，交给机器绞尽脑汁的完成任务

三，深度学习的不能与解释性

1,稳定性差，可调式性差，期待解释性为找得到，知道哪些特征对输出有重要影响，出了问题快速纠错

2，参数不透明，机器偏见，期待解释性为看得懂，算法能够被人的知识体系理解+利用和解和人类知识

3，增量型差，推理能力差，解释性为留的下，知识得到有效的存储、累计和服用，从而越学越聪明

四，深度学习的发展历程

1，仿照生物神经元的m-p神经元

                       

2，单层感知器，单层感知器只能实现基础的与或非等

其中激活函式的作用是建立非线性，如果没有激活函数只能算是矩阵相乘，多层跟一层就没有区别了，只能拟合线性函数。激活函数有S性函数（sigmoid），双极S性函数（tanh），ReLU修正线性单元，Leaky ReLU等等。

 3，多层感知器：可以实现较复杂的逻辑比如同或门

 4，万有逼近定理

 5，神经网络中每一层的作用

 

 6，神经网络是更深还是更宽的好？更深深度和宽度对函数复杂度的贡献是不同的，深度的贡献是指数级增长的，而宽度的贡献是线性的。

7，深度网络的参数学习方法为：误差反向传播，通过梯度下降实现。

 

 8，深层神经网络的问题：梯度消失，容易陷入局部极值，难以训练

 9，因此导致的人工智能的”第二落“

8，而人工智能的‘第三起’也正是因为梯度消失问题解决方法逐层与训练的出现，包括受限玻尔兹曼机和自编码器。

 

 

五，感想

李沐老师的课真是保姆级别的，0基础也可以很轻松的跟上节奏，就是后边关于线性代数的内容有一些只是跟着老师过了一遍，印象不是很深刻。还需要自己动手推导一下。

专知＋李沐的组合挺完美的，只是第一周就感觉收获满满，对深度学习框架有了一个基础的了解。