第三章 学习基础知识

一、学习目标

1.学习相关数学基础公式及知识

2.了解机器学习相关技术

3.掌握神经元模型、感知机结构

4.学习BP算法

二、数学基础

1.矩阵知识

        矩阵的计算、秩、变换、分解。

2.最小二乘法

3.常见概率分布

4.损失函数

5.信息论相关

        关于各种熵的信息，详细可见我的《自然语言处理》第二课，统计学基础。

三、机器学习基础

        包含的知识有：1.有监督、无监督学习，2.有监督的SVM、决策树、随机森林，无监督的聚类算法、降维算法。不会的请系统看我的《机器学习》专栏。

四、神经元模型（M-P模型）

        整体框架如下，该模型只有一个神经元结构。

五、感知机与多层感知机

        感知机模型相当于在M-P模型基础上，增加了神经元个数，形成一层感知机。多层感知机就是添加多层神经元。

        下图中的红色直线就是一个感知机。

        下图中，两条红线是一个多层感知机。 

 六、BP算法

        BP算法，即反向传播算法，能够帮助神经网络自行调节参数，从而使得模型得到优化。主要思想是：在输出层计算输出结果和实际正确结果的误差，将该误差往回传播，让模型参数沿梯度下降方向变化，最终使得误差减少。

        详细知识可见《自然语言处理》专栏第6 7课 神经网络和语言模型中队前向计算和后向传播过程的描述。

七、总结

        深度学习是一门有技术门槛的一门课，需要对机器学习有所了解且拥有学习经历才能学习下去。