神经网络与机器学习 笔记—基本知识点（下）

               神经网络与机器学习 笔记—基本知识点（下）

0.1 网络结构：

        神经网络中神经元的构造方式与用于训练网络的学习算法有着密切的联系，有三种基本的网络结构：

 

0.7 知识表示：

 

 

 

        知识就是人或机器存储起来以备使用的信息或模型，用来对外部世界作出解释、预测和适当的反应。

主要特征：

        什么信息是明确表述的；物理上信息是如何被编码和使用的。

        神经网络的一个主要任务是学习他所依存的外部世界（环境）模型，并且保持该模型和真是世界足够兼容，使之能够实现感兴趣应用的特定目标。有关世界的知识由两类信息组成。

1. 已知世界状态，有“什么是”事实和“什么是已知道的”事实所表示；这种形式的知识称为先验知识。
2. 对世界的观察（测量），由神经网络中被设计用于探测环境的传感器获得。一般来说，这些观察是带有噪声的，这是由于传感器的噪声和系统的不完善而产生的误差。不管怎样，这样得到的观察会提供一个信息池，从中提取样例来训练神经网络。样例分为两种：有标号的和无标号的。有标号的就是对应的输入有输出结果，无标号的则没有输出结果。相比来说有标号的涉及到教师标注，成本高，数量少。无标号的则成本低，获取较方便。这种数据在机器学习里都叫做训练数据集，或者简称训练样本。

        神经网络设计与传统信息处理对应部分（模式分类器）的设计有根本的差别。后者是设定方法、目标，验证目标。而且这则是通过学习数据来找到能达到目标的方法。

知识表示的规则：

1. 相似类别中的相似输入通常应产生网络中相似的表示，因此，可以归入同一类中（向量内积或者欧几里得距离）。
2. 网络对可分离为不同种类的输入向量给出差别很大的表示。
3. 如果某个特征很重要，那么网络表示这个向量将涉及大量神经元。
4. 如果存在先验信息和不变性，应该将其附加在网络设计中，这样就不必学习这些信息而简化网络设计。

 

    怎么在神经网络设计中加入先验信息：

        1.通过使用称为接收域的局部连接，限制网络结构。

        2.通过使用权值共享。限制突触权值的选择。[明显降低自由参数]

        CNN卷积神经网络用的就是1和2，这个以后说。

0.8 学习过程

        通过神经网络的功能来进行如下分类：有教师学习和无教师学习。其中后者可以分为无监督学习和强化学习。后来又引申出来一个半监督学校。这些学习方式对训练数据集的要求是不一样的。

0.9 学习任务

 

 

        模式联想（自联想、异联想）、模式识别、函数逼近、控制。

0.10 整理