误差反向传播

在这里插入图片描述

# -*- coding: utf-8 -*-
"""
Created on Fri Jul 19 09:24:13 2019

@author: Administrator
"""

apple = 100
apple_num = 2
orange = 150
orange_num = 3
tax = 1.1
class MulLayer:
 def __init__(self):
  self.x = None
  self.y = None
 def forward(self, x, y):
  self.x = x
  self.y = y
  out = x * y
  return out
 def backward(self, dout):
  dx = dout * self.y # 
  dy = dout * self.x
  return dx, dy
class AddLayer:
 def __init__(self):
  pass
 def forward(self, x, y):
  out = x + y
  return out
 def backward(self, dout):
  dx = dout * 1
  dy = dout * 1
  return dx, dy
# layer
mul_apple_layer = MulLayer()
mul_orange_layer = MulLayer()
add_apple_orange_layer = AddLayer()
mul_tax_layer = MulLayer()
# forward
apple_price = mul_apple_layer.forward(apple, apple_num) #(1)
orange_price = mul_orange_layer.forward(orange, orange_num) #(2)
all_price = add_apple_orange_layer.forward(apple_price, orange_price) #(3)
price = mul_tax_layer.forward(all_price, tax) #(4)
# backward
dprice = 1
dall_price, dtax = mul_tax_layer.backward(dprice) #(4)
dapple_price, dorange_price = add_apple_orange_layer.backward(dall_price) #(3)
dorange, dorange_num = mul_orange_layer.backward(dorange_price) #(2)
dapple, dapple_num = mul_apple_layer.backward(dapple_price) #(1)
print(price) # 715
print(dapple_num, dapple, dorange, dorange_num, dtax) # 110 2.2 3.3 165 650
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
误差反向传播法是一种用于计算神经网络参数梯度的方法。它通过将正向传播反向传播结合起来,通过链式法则来计算每个参数对于整体损失函数的梯度。在误差反向传播,首先通过正向传播计算出网络的输出结果,然后根据损失函数计算出网络的损失。接着,通过反向传播将损失从输出层向输入层逐层传递,计算出每个参数对于损失的贡献,最终得到参数的梯度。 在Python实现误差反向传播法,可以使用NumPy库来进行矩阵和向量操作。以下是一个简单的示例代码,实现了一个简单的神经网络的误差反向传播过程的代码片段: ```python # 假设网络有两个全连接层和一个输出层 import numpy as np # 正向传播 def forward_propagation(X, parameters): # 假设第一层的激活函数为ReLU Z1 = np.dot(parameters['W1'], X) + parameters['b1'] A1 = np.maximum(0, Z1) # 假设第二层的激活函数为ReLU Z2 = np.dot(parameters['W2'], A1) + parameters['b2'] A2 = np.maximum(0, Z2) # 假设输出层的激活函数为sigmoid Z3 = np.dot(parameters['W3'], A2) + parameters['b3'] A3 = 1 / (1 + np.exp(-Z3)) return A3 # 反向传播 def backward_propagation(X, Y, parameters, cache): m = X.shape[1] # 计算输出层的误差 dZ3 = cache['A3'] - Y # 计算第二层的误差 dW3 = 1 / m * np.dot(dZ3, cache['A2'].T) db3 = 1 / m * np.sum(dZ3, axis=1, keepdims=True) dA2 = np.dot(parameters['W3'].T, dZ3) dZ2 = np.multiply(dA2, np.int64(cache['A2'] > 0)) # 计算第一层的误差 dW2 = 1 / m * np.dot(dZ2, cache['A1'].T) db2 = 1 / m * np.sum(dZ2, axis=1, keepdims=True) dA1 = np.dot(parameters['W2'].T, dZ2) dZ1 = np.multiply(dA1, np.int64(cache['A1'] > 0)) # 计算输入层的误差 dW1 = 1 / m * np.dot(dZ1, X.T) db1 = 1 / m * np.sum(dZ1, axis=1, keepdims=True) gradients = { 'dW1': dW1, 'db1': db1, 'dW2': dW2, 'db2': db2, 'dW3': dW3, 'db3': db3 } return gradients ``` 以上代码片段的`forward_propagation`函数实现了神经网络的正向传播过程,`backward_propagation`函数实现了神经网络的反向传播过程。其,`parameters`是神经网络的参数,`cache`是正向传播过程保存的间结果,`X`是输入数据,`Y`是标签数据。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值