机器学习与深度学习：Python在机器学习和深度学习方面的应用

本文链接：https://blog.csdn.net/m0_73158362/article/details/131035563

Python 是一种功能强大的编程语言，特别适合在机器学习和深度学习领域中使用。Python 提供了许多用于构建和训练机器学习和深度学习模型的库和框架。本文将介绍一些常见的Python库和框架，例如 Scikit-learn、TensorFlow 和 PyTorch，并介绍如何使用它们来开发和训练机器学习和深度学习模型。

Scikit-learn

Scikit-learn 是一个开源的 Python 库，用于机器学习和数据挖掘。它提供了许多常用的机器学习算法和工具，并具有简单易用的API。

以下是使用 Scikit-learn 中的决策树算法对鸢尾花数据集进行分类的示例：

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split

# 加载数据集
iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(
    iris.data, iris.target, test_size=0.3, random_state=42)

# 创建决策树分类器
clf = DecisionTreeClassifier()

# 训练模型
clf.fit(X_train, y_train)

# 预测测试数据集
y_pred = clf.predict(X_test)

# 评估模型精度
from sklearn.metrics import accuracy_score
print("Accuracy:", accuracy_score(y_test, y_pred))

TensorFlow

TensorFlow 是一个流行的开源深度学习框架，由 Google 开发。它提供了灵活的图形计算引擎，并支持使用多种编程语言进行开发。

以下是使用 TensorFlow 构建和训练简单的神经网络进行 MNIST 数字分类的示例：

import tensorflow as tf
from tensorflow import keras

# 加载数据集
mnist = keras.datasets.mnist
(X_train, y_train), (X_test, y_test) = mnist.load_data()

# 数据预处理
X_train, X_test = X_train / 255.0, X_test / 255.0

# 创建神经网络模型
model = keras.models.Sequential([
    keras.layers.Flatten(input_shape=(28, 28)),
    keras.layers.Dense(128, activation='relu'),
    keras.layers.Dropout(0.2),
    keras.layers.Dense(10)
])

# 编译模型
loss_fn = keras.losses.SparseCategoricalCrossentropy(from_logits=True)
model.compile(optimizer='adam', loss=loss_fn, metrics=['accuracy'])

# 训练模型
model.fit(X_train, y_train, epochs=5)

# 评估模型
model.evaluate(X_test, y_test, verbose=2)

PyTorch

PyTorch 是另一个流行的开源深度学习框架，由 Facebook 开发。它提供了动态图形计算引擎，并支持使用多种编程语言进行开发。

以下是使用 PyTorch 构建和训练简单的神经网络进行 CIFAR-10 图像分类的示例：

import torch
import torch.nn as nn
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms

# 定义数据增强和预处理
transform_train = transforms.Compose([
    transforms.RandomCrop(32, padding=4),
    transforms.RandomHorizontalFlip(),
    transforms.ToTensor(),
    transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])

transform_test = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])

# 加载数据集
trainset = torchvision.datasets.CIFAR10(root='./data', train=True,
                                        download=True, transform=transform_train)
testset = torchvision.datasets.CIFAR10(root='./data', train=False,
download=True, transform=transform_test)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=128,
shuffle=True, num_workers=2)
testloader = torch.utils.data.DataLoader(testset, batch_size=128,
shuffle=False, num_workers=2)

定义神经网络模型 class Net(nn.Module): def init(self): super(Net, self).init() self.conv1 = nn.Conv2d(3, 64, kernel_size=5, padding=2) self.relu1 = nn.ReLU(inplace=True) self.pool1 = nn.MaxPool2d(kernel_size=2, stride=2) self.conv2 = nn.Conv2d(64, 128, kernel_size=5, padding=2) self.relu2 = nn.ReLU(inplace=True) self.pool2 = nn.MaxPool2d(kernel_size=2, stride=2) self.fc1 = nn.Linear(7 * 7 * 128, 1024) self.relu3 = nn.ReLU(inplace=True) self.drop1 = nn.Dropout() self.fc2 = nn.Linear(1024, 10)

def forward(self, x): x = self.conv1(x) x = self.relu1(x) x = self.pool1(x) x = self.conv2(x) x = self.relu2(x) x = self.pool2(x) x = x.view(-1, 7 * 7 * 128) x = self.fc1(x) x = self.relu3(x) x = self.drop1(x) x = self.fc2(x) return x net = Net()

定义损失函数和优化器 criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(net.parameters(), lr=0.01, momentum=0.9)

训练模型 for epoch in range(5): running_loss = 0.0 for i, data in enumerate(trainloader, 0): inputs, labels = data optimizer.zero_grad() outputs = net(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step()

running_loss += loss.item()
if i % 100 == 99:
    print('[%d, %5d] loss: %.3f' %
          (epoch + 1, i + 1, running_loss / 100))
    running_loss = 0.0

评估模型

correct = 0
total = 0
with torch.no_grad():
for data in testloader:
images, labels = data
outputs = net(images)
_, predicted = torch.max(outputs.data, 1)
total += labels.size(0)
correct += (predicted == labels).sum().item()

print('Accuracy of the network on the 10000 test images: %d %%' % (
100 * correct / total))

复制代码