神经网络和深度学习是现代机器学习的重要组成部分,它们在图像识别、语音识别、自然语言处理等多个领域取得了显著的成功。本文将详细介绍神经网络和深度学习的基本函数概念,并通过一个简单的例子来展示如何使用Python和Keras库构建一个神经网络模型。
1、前置库与数据导入
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Flatten, Conv2D, MaxPooling2D, Dropout, LSTM, GRU, Embedding
from tensorflow.keras.datasets import mnist
import numpy as np
# 加载MNIST数据集
(x_train, y_train), (x_test, y_test) = mnist.load_data()
# 数据预处理
x_train, x_test = x_train / 255.0, x_test / 255.0 # 归一化到 [0, 1]
2、 激活函数
激活函数用于引入非线性因素,使得神经网络能够学习复杂的非线性关系。常见的激活函数有ReLU、Sigmoid和Tanh。
ReLU(Rectified Linear Unit)
公式:
优点:计算简单,梯度不会消失
缺点:可能会导致“死神经元”现象
# 使用ReLU激活函数
model_relu = Sequential([
Flatten(input_shape=(28, 28)),
Dense(128, activation='relu'),
Dense(10, activation='softmax')
])
model_relu.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
model_relu.fit(x_train, y_train, epochs=5)
test_loss, test_acc = model_relu.evaluate(x_test, y_test)
print(f'Test accuracy (ReLU): {test_acc}')
Sigmoid
公式:
优点:输出范围在0到1之间,适合概率预测
缺点:梯度消失问题
# 使用Sigmoid激活函数
model_sigmoid = Sequential([
Flatten(input_shape=(28, 28)),
Dense(128, activation='sigmoid'),
Dense(10, activation='softmax')
])
model_sigmoid.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
model_sigmoid.fit(x_train, y_train, epochs=5)
test_loss, test_acc = model_sigmoid.evaluate(x_test, y_test)
print(f'Test accuracy (Sigmoid): {test_acc}')
Tanh
公式: