本文介绍了如何根据西瓜书的公式实现BP神经网络的标准算法和累积算法。首先，数据预处理将离散属性转化为0-1之间的数值。接着，初始化随机权重和阈值，并解释了b=f(alpha-gamma)的原理。标准BP逐个样本更新网络，而累积BP则对整个数据集进行批量更新，类似随机梯度下降。文章讨论了隐层神经元数量的选择和应对过拟合的策略，如早停和正则化，并强调了numpy在矩阵运算中的便利性。
这里照着书上的公式，实现了一下标准BP算法，和累积BP算法，BP是error Back Propagation的意思，误差逆传播。BP网络通常是指用BP算法训练的多层前馈神经网络。代码是照着书本公式自己写的，没有参考网上的其他版本。
数据和代码地址：https://github.com/qdbszsj/BP
具体的理论证明和公式推导，见西瓜书P101-104。这里重点说一下我的数据处理和一些代码细节，以及一些重点知识。
西瓜数据集3.0，里面有离散属性，也有连续属性，除了密度、含糖量这样的属性，还有一些文字性描述的离散属性，因此我们先把离散属性转化为数字表示的属性。比如“色泽”这个属性下有三种属性：浅白、青绿、乌黑，我认为这三个属性有递进关系，类似于低中高，瘦均胖，因此就用一个值来表示他们，{0,0.5,1}这三个值表示这三个属性。同理，其他属性都用这种方法处理成0~1之间的小数。这里的属性都是有序的，没有无序的属性，如果有无序的属性，那么通常就要用一个K维的向量来表示，比如属性“瓜类”下分为“西瓜”、“黄瓜”、“南瓜”，显然这三个瓜是无序的，因此就用（0,0,1）、（0,1,0）、（0,0,1）这样的值来表示他们，其实就相当于把数据集拓宽了几列，列名由一个“瓜类”变为“是西瓜？”、“是黄瓜？”、“是南瓜？”，然后元素值是1和0。这里跟NLP的词向量处理方法有些接近，很多做NLP的词向量都是这样的。
然后是根据书P104的伪代码，先初始化了两组权值（输入->隐层、隐层->输出）和两组阈值（隐层、
最低0.47元/天 解锁文章
1006
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
