神经网络学习笔记三

神经网络学习笔记三

S型曲线函数之所以被广泛使用，不仅是因为它可微，还由于它具有单调连续、取值在0到1之间等优良性质。

神经网络的学习方式目前见到几种，包括遗传算法，反向传递算法。

反向传递算法(BP)用我的语言总结为：新权值为旧权值减去（学习率乘以单个样本误差平方和对旧权值求导）。

其原理，优越性暂时未知。这样可以每输入一次样本个改进一次权值。

惯性项，保持前一次调整的方向上移动，滤除在误差函数曲面陡变部分造成的错误调整。

学习过程的迭代终止条件看不懂

关于学习过程中，权值阀值的更新方向问题，我的理解是：神经网络的维度应该高于问题的复杂程度，这样对于一个问题，即能对应多个有不同的神经网络，所以并不用担心其学习方向是否正确。


神经网络基本理论涉及一些内容：神经元模型，拓扑结构，学习规则，神经网络的能力（即可以解决那些问题）、解决问题的有效性，神经网络的性能指标，最佳结构设计，学习问题，泛化能力，自组织性，自适应性，神经网络作为一个非线性系统的动力学分析等。

神经网络太小，不能建立复杂的映射关系。但是如果节点过多，网络学习时间增加，并且可能出现“过拟合”现象，就是样本预测准确，其他样本误差较大。

关于网络大小的思考

假如输入有一个输入，100个样本，如果对应关系不是简单线性，需要拟合样本，就不是一个隐含层解决,那需要几个？

假如有两个输入，100个样本，输出则可能出现1万种结果。这个过程，需要几个隐含层？几个神经元？

如果两个输入中，其中一个是布尔类型，则可能出现200个结果。

那如果输入不是离散的呢？

网络结构为1-1-1-1的网络，和结构为1-1-1，1-2-1的结构，其间有区别吗（猜想没有）

2-2-2-1与2-3-2-1复杂维度高出多少呢

没思路了，不作结论