深度学习（一）简介

这学期开设了深度学习这门选修课，想通过博客记录一下自己的学习过程。

介绍

1. 人工智能>机器学习>深度学习

（1）机器学习：Looking for function

ex: f(语言)=" " 

      f(图片)=" "

ex：芒果识别的原理

:

抽象：

模型： 

a. 线性方法：

广义线性方法：

b. 期望风险：

c. 优化

机器学习类型

a. 监督学习

b. 无监督学习

c. 强化学习

参数学习

a. 强化风险未知,通过经验风险近似，训练数据

b. 经验风险最小化

优化

a. input....

  repeat...

  until....

b. 机器学习 不等于 过度学习

PAC学习

a. 大数定律  数据集趋于0，泛化错误趋于0

b. 降低泛化错误

  I. 正则化 

模型选择

a. 拟合能力提高

b. 复杂度

c. 先确定偏差，再确定方差

d. 集成模型

e. 应用：图像分类

（2）机器学习的思路

1.以视觉感知为例

input-》feative-》leaning

2.特征工程问题

（3）深度学习

1. 三要素

模型：神经网络

学习准则：交叉熵损失

优化：随机梯度下降

2. 深度学习=表示学习+浅层学习

低层特征+中层特征+高层特征+Trainable

3. 人工神经网络

考虑三方面内容：

        神经元激活规则

        网络的拓扑结构

       学习算法

4. 通过近似算法

梯度下降