作业（2023年9月18日）-CSDN博客

本文链接：https://blog.csdn.net/m0_61179558/article/details/133081801

一、bp神经网络算法

bp神经网络算法

import numpy as np

# 定义Sigmoid激活函数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

# 初始化神经网络参数
input_size = 2
hidden_size = 4
output_size = 1
learning_rate = 0.1

# 初始化权重和偏差
weights_input_hidden = np.random.uniform(size=(input_size, hidden_size))
bias_input_hidden = np.zeros((1, hidden_size))
weights_hidden_output = np.random.uniform(size=(hidden_size, output_size))
bias_hidden_output = np.zeros((1, output_size))

# 训练数据
X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
y = np.array([[0], [1], [1], [0]])

# 训练神经网络
for epoch in range(10000):
    # 前向传播
    hidden_input = np.dot(X, weights_input_hidden) + bias_input_hidden
    hidden_output = sigmoid(hidden_input)
    output_input = np.dot(hidden_output, weights_hidden_output) + bias_hidden_output
    predicted_output = sigmoid(output_input)

    # 计算损失
    loss = np.mean(0.5 * (predicted_output - y) ** 2)

    # 反向传播
    delta_output = (predicted_output - y) * predicted_output * (1 - predicted_output)
    delta_hidden = np.dot(delta_output, weights_hidden_output.T) * hidden_output * (1 - hidden_output)

    # 更新权重和偏差
    weights_hidden_output -= learning_rate * np.dot(hidden_output.T, delta_output)
    bias_hidden_output -= learning_rate * np.sum(delta_output, axis=0)
    weights_input_hidden -= learning_rate * np.dot(X.T, delta_hidden)
    bias_input_hidden -= learning_rate * np.sum(delta_hidden, axis=0)

    if epoch % 1000 == 0:
        print(f"Epoch {epoch}, Loss: {loss:.4f}")

# 测试神经网络
test_data = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
test_hidden_input = np.dot(test_data, weights_input_hidden) + bias_input_hidden
test_hidden_output = sigmoid(test_hidden_input)
test_output_input = np.dot(test_hidden_output, weights_hidden_output) + bias_hidden_output
test_predicted_output = sigmoid(test_output_input)
print("Final Predictions:")
print(test_predicted_output)

这个示例是一个三层的前馈神经网络，包括输入层、一个隐藏层和一个输出层。网络用于二分类任务，使用Sigmoid作为激活函数

BP神经网络，也称为反向传播神经网络（Backpropagation Neural Network），是一种常用于机器学习和深度学习任务的人工神经网络模型。它是一种前馈神经网络，通常用于监督学习任务，如分类和回归。

以下是BP神经网络的主要特征和工作原理：

神经元结构：BP神经网络由多个神经元（也称为节点或单元）组成，分为输入层、隐藏层和输出层。每个神经元与前一层的所有神经元相连接。
前馈传播：在训练过程中，输入数据从输入层传递到输出层的过程称为前馈传播。每个神经元将其输入加权求和，并通过激活函数进行非线性变换，然后将输出传递给下一层。
权重更新：BP神经网络的关键部分是权重更新。在训练过程中，网络根据损失函数的梯度来调整连接神经元之间的权重，以最小化预测与实际值之间的误差。这是通过反向传播算法完成的。
反向传播算法：反向传播算法是BP神经网络的核心。它通过计算损失函数相对于每个权重的梯度来确定如何调整权重。这个梯度信息然后从输出层传播回隐藏层和输入层，以逐层调整权重。这个过程是反复迭代的，直到损失函数收敛到一个较小的值。
激活函数：神经元的激活函数通常是非线性的，以增加网络的表示能力。常见的激活函数包括Sigmoid、ReLU（Rectified Linear Unit）、Tanh等。
隐藏层：BP神经网络通常包括一个或多个隐藏层，这些隐藏层有助于网络学习复杂的特征和关系。

BP神经网络在各种任务中表现出色，特别是在图像识别、自然语言处理和推荐系统等领域。然而，它也有一些限制，如需要大量标记数据来进行监督训练，容易陷入局部最小值，以及对超参数的敏感性。

在深度学习的发展中，BP神经网络的变体和改进版本不断涌现，例如卷积神经网络（CNN）和循环神经网络（RNN），它们在特定任务上表现更好。

二、感知器

import numpy as np

class Perceptron:
    def __init__(self, input_size, learning_rate=0.1, epochs=100):
        self.weights = np.zeros(input_size)
        self.learning_rate = learning_rate
        self.epochs = epochs

    def predict(self, inputs):
        # 计算加权和
        weighted_sum = np.dot(inputs, self.weights)
        # 应用阈值函数（这里使用简单的阶跃函数）
        if weighted_sum >= 0:
            return 1
        else:
            return 0

    def train(self, training_data, labels):
        for _ in range(self.epochs):
            for inputs, label in zip(training_data, labels):
                prediction = self.predict(inputs)
                # 更新权重
                self.weights += self.learning_rate * (label - prediction) * inputs

# 训练数据和标签
training_data = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
labels = np.array([0, 0, 0, 1])

# 创建感知器
perceptron = Perceptron(input_size=2)

# 训练感知器
perceptron.train(training_data, labels)

# 测试感知器
test_data = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
for inputs in test_data:
    prediction = perceptron.predict(inputs)
    print(f"Inputs: {inputs}, Prediction: {prediction}")