邱锡鹏 神经网络与深度学习课程【二】——绪论3和机器学习概述1

神经网络

生物的神经网络：主要是由生物神经元构成 先了解生物神经网络如何学习

 人工神经元 输入通过加权进入激活函数，激活函数早期为饱和函数 需要连续

 人工神经网络的搭建 激活规则指就是输入输出之间非线性的函数

学习算法一般为BP  但是 拓扑结构变化很灵活

 根据拓扑结构的不同，大体上分为三种类型，但是大多数网络都是复合型结构，即一个神经网络中包括多种网络结构 图网络更为复杂，应用的范围更广

 神经网络与复合函数的联系

 神经网络可以很好的解决贡献度分配问题 主要可以利用梯度下降算法 通过偏导数

 神经网络的发展史

1.模型提出

 2.冰河期

 3.复兴

 4.流行度降低

 5.深度学习的崛起

 多个领域发展

 机器学习概述

机器学习 相等于 构建一个映射函数

 机器学习定义：通过算法使得机器能从大量数据中学习规律从而对新的样本做决策 从函数集合通过学习算法在大量数据上找到表现最好的那个函数

 机器学习的三要素：模型、学习准则、优化

 常见的机器学习问题：回归、分类、聚类(前两个为监督学习、后一个为无监督学习)

 以线性回归为例：

模型：

 损失函数

 学习准则

 

 最优化问题的解法：梯度下降法：

 

随机梯度下降 和 Mini-Batch GD 

 机器学习与优化的关系

 

 如何减少泛化错误：正则化：所有损害优化的方法都是正则化

 

 最常用是 提前停止