一、博客主旨
本着好读书不求甚解的精神,本文只讨论对BP四公式使用的理解,推导请自行百度,给两篇参考博客1,博客2,两者结合效果更佳。
二、大结局
只有能用自己的话解释公式,才算理解了它。 ----鲁迅
- BP四公式
- 缭乱的手推
- 权重定义看上图。注意:网络层从0开始,权重从1开始(日常迎合公式)。
- 损失函数使用均方误差,激励函数使用Sigmoid
- 四公式是向量化的形式,我们看单个神经元怎么计算
- bp1是损失函数一阶导数和激励函数一阶导数的乘积,不考虑复合函数,只求最外层导数
- bp2中权重的i遍历该层神经元,j与等号左边的下标相同
三、番外
本文写于头昏脑涨时,欢迎切磋讨论、批评指正。
俺去写程序验证了,未来一年内肯定上代码。(奸笑)
20200508 上代码
用代码实现时,你才知道有没有真正懂了公式。 ----莎士比亚
void SimpleLayer::BackWard(vector<float> delta) {
for(int j = 0; j < ic_; ++j) {
delta_[j] = 0;
}
for(int j = 0; j < ic_; ++j) {
for(int i = 0; i < oc_; ++i) {
delta_[j] += weight_[i*ic_+j]*delta[i];
// std::cout << delta[j] << endl;
}
}
// std::cout << "*******Backward*******\n";
for(int i = 0; i < oc_; ++i) {
for(int j = 0; j < ic_; ++j) {
float tmp = input_[j]*delta[i];
weight_[i*ic_+j] -= lr_ * tmp;
// std::cout << weight_[i*ic_+j] << endl;
}
bias_[i] -= lr_ * delta[i];
// std::cout << bias_[i] << endl;
}
}
- 全乎的手推,忽略虚线框,那个画错了!!“伪代码”就是上述代码的逻辑,各位客官努力理解把,哈哈。
完整代码点击这里下载