图解人工神经网络 BP算法代码和注释

　星云　

已于 2022-03-24 00:54:34 修改

阅读量2.3k

点赞数 6

分类专栏： Python 算法文章标签：神经网络 python 算法机器学习

于 2021-03-06 20:26:57 首次发布

本文链接：https://blog.csdn.net/dscn15848078969/article/details/114452980

版权

本文通过动图详细展示了人工神经网络的反向传播（BP）算法过程，并提供了Python代码实现，同时给出了输出结果。此外，还介绍了如何使用TensorFlow简化BP算法的实现。

摘要由CSDN通过智能技术生成

动图很长

诶哟图丢了

代码

# -*- coding: utf-8 -*-

import numpy as np
import matplotlib.pyplot as pyp
OUTPUT = 'output'
SUM = 'sum'
INPUT = 'input'
EXPECT = 'exp'
WEIGHT = 'weight'
LOST = 'lost'
START = 'start'
END = 'end'
B = 1.0  # 额外的输入

def af(v):
    """激励函数。

    Args:
        v (matrix): 自变量

    Returns:
        matrix: 函数值。
    """
    return 1/(1+np.exp(-v))


def af_d(v):
    """激励函数的导数。

    Args:
        v (matrix): 自变量

    Returns:
        matrix: 函数值。
    """
    d = af(v)
    return np.multiply(d, 1.0-d)


def loss(y_hat, y):  # 交叉熵损失函数L(y^,y)=-ylog(y^)-(1-y)log(1-y^)
    """交叉熵损失函数。

    Args:
        y_hat (matrix): 观测结果即神经网络输出层返回值
        y (matrix): 模型输出

    Returns:
        float: 计算模型输出和观测结果间的差异。
    """
    ret = []
    row_count, col_count = y_hat.shape
    for row_index in range(row_count):
        y_hat_row_t = y_hat[row_index, ].T
        left = np.dot(-y, np.log(y_hat_row_t))
        right = np.dot((np.array([[1]]) - y), np.log(1 - y_hat_row_t))
        res = np.sum(left