【机器学习基础】机器学习基本概念和常用算法-CSDN博客

本文链接：https://blog.csdn.net/weixin_39372311/article/details/140574015

机器学习基础：机器学习基本概念和常用算法

引言

在现代科技飞速发展的今天，机器学习（Machine Learning）作为一项核心技术，已经深入到各行各业，改变了我们的生活和工作方式。本文将详细介绍机器学习的基本概念、主要技术和常用算法，帮助读者建立对机器学习的全面认识。

机器学习概述

什么是机器学习

机器学习是人工智能的一个分支，通过分析和挖掘数据中的模式和规律，使计算机具备自动学习和预测的能力。简而言之，机器学习就是让计算机能够从数据中学习经验并应用这些经验进行预测或决策。

机器学习的分类

根据学习方式和应用场景，机器学习主要分为以下几类：

监督学习：使用标注数据训练模型，常见任务包括分类和回归。
无监督学习：使用未标注数据训练模型，常见任务包括聚类和降维。
半监督学习：结合少量标注数据和大量未标注数据训练模型。
强化学习：通过与环境的交互学习最佳策略，常用于游戏和机器人控制。

机器学习的基本概念

数据集和特征

数据集：用于训练和测试模型的数据集合，通常分为训练集、验证集和测试集。
特征：描述数据对象的属性或变量，是模型学习的基础。

训练和测试

训练：使用训练集数据训练模型，使模型能够从数据中学习规律。
测试：使用测试集数据评估模型性能，验证模型的泛化能力。

模型评估

准确率：分类任务中预测正确的样本数占总样本数的比例。
均方误差（MSE）：回归任务中预测值与真实值之间的平均平方差。
混淆矩阵：分类任务中各类样本的预测情况汇总表。
AUC-ROC曲线：评估二分类模型性能的曲线，通过计算曲线下面积（AUC）衡量模型的分类能力。

常用算法

线性回归

线性回归是一种基本的回归算法，通过拟合一条直线描述变量之间的线性关系。

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# 示例代码
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
model = LinearRegression()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
print("线性回归均方误差:", mse)

逻辑回归

逻辑回归是一种常用于二分类任务的算法，通过学习数据的线性组合预测样本属于某一类别的概率。

from sklearn.linear_model import LogisticRegression

# 示例代码
model = LogisticRegression()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print("逻辑回归分类准确率:", accuracy)

决策树

决策树是一种基于树形结构的分类和回归算法，通过递归地选择最优特征将数据划分为不同的类别或值。

from sklearn.tree import DecisionTreeClassifier

# 示例代码
model = DecisionTreeClassifier()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print("决策树分类准确率:", accuracy)

支持向量机（SVM）

支持向量机是一种基于最大间隔分类的算法，通过找到最佳分隔超平面将数据划分为不同的类别。

from sklearn.svm import SVC

# 示例代码
model = SVC()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print("支持向量机分类准确率:", accuracy)

k-近邻算法（k-NN）

k-近邻算法是一种基于实例的分类和回归算法，通过计算待分类样本与训练样本之间的距离，将其划分到距离最近的k个邻居的多数类别中。

from sklearn.neighbors import KNeighborsClassifier

# 示例代码
model = KNeighborsClassifier(n_neighbors=3)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print("k-近邻算法分类准确率:", accuracy)

朴素贝叶斯

朴素贝叶斯是一种基于贝叶斯定理的分类算法，假设特征之间相互独立，计算样本属于各类别的概率并进行分类。

from sklearn.naive_bayes import GaussianNB

# 示例代码
model = GaussianNB()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print("朴素贝叶斯分类准确率:", accuracy)

集成学习

集成学习通过组合多个基模型来提高模型的准确性和稳定性。常见的方法包括随机森林和梯度提升树。

随机森林

随机森林是一种集成多棵决策树的算法，通过投票或平均方式输出最终结果。

from sklearn.ensemble import RandomForestClassifier

# 示例代码
model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print("随机森林分类准确率:", accuracy)

梯度提升树

梯度提升树是一种迭代优化的集成算法，通过逐步减小预测误差来提高模型性能。

from sklearn.ensemble import GradientBoostingClassifier

# 示例代码
model = GradientBoostingClassifier(n_estimators=100)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print("梯度提升树分类准确率:", accuracy)