1.初接触sklearn，保存模型，加载模型

1.损失函数 (Loss Function)：损失函数是用来度量模型预测结果与真实值之间的差距。在训练模型时，我们通过最小化损失函数来优化模型参数。

2.正则化 (Regularization)：正则化是用来防止过拟合的技术。它可以通过添加惩罚项来约束模型参数的大小，从而使模型更加简单、泛化性能更好。

3.梯度下降 (Gradient Descent)：梯度下降是一种常用的优化方法，用来最小化损失函数。它通过不断迭代调整模型参数，沿着损失函数梯度方向逐步更新参数值，使损失函数尽可能地接近最小值。

4.批量训练 (Batch Training)：批量训练是指将训练数据分成若干个batch，并一次性将一个batch内的数据全部喂入模型进行训练。在大规模数据集上进行训练时，批量训练可以降低计算负担，提高训练效率。

5.学习率 (Learning Rate)：学习率是控制模型参数更新步长的超参数。在每次梯度下降中，学习率决定了模型参数沿着梯度方向更新的幅度大小。合适的学习率可以使模型快速收敛，但学习率过大或过小都可能导致训练效果不佳。

6.过拟合 (Overfitting)：过拟合是指模型在训练集上表现很好，但在测试集上表现较差的现象。过拟合通常是由于模型过于复杂、太过于拟合训练数据而导致的。可以通过正则化、增加训练数据、减小模型复杂度等方法来解决过拟合问题。

6.欠拟合 (Underfitting)：欠拟合是指模型在训练集和测试集上的表现都不理想。通常是由于模型过于简单、特征提取不足等问题导致。可以通过增加特征、调整模型复杂度等方法来解决欠拟合问题。

简单 demo

官网 https://scikit-learn.org/stable/getting_started.html

import pickle

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split

# 加载数据集
iris = load_iris()

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.3, random_state=42)

# 定义模型
model = DecisionTreeClassifier()

# 训练模型
model.fit(X_train, y_train)

# 在测试集上进行预测
y_pred = model.predict(X_test)

# 评估模型
score = model.score(X_test, y_test)
print(f"Accuracy: {score}")

保存模型

#上面代码下再加一行下面的代码 ，可以保存为文件
with open('decision_tree_model.pkl', 'wb') as file:
    pickle.dump(model, file)

加载模型

# 加载模型
with open('decision_tree_model.pkl', 'rb') as file:
    loaded_model = pickle.load(file)
    
# 加载数据集
iris = load_iris()

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.3, random_state=42)

# 定义模型
model = loaded_model

# 训练模型
model.fit(X_train, y_train)

# 在测试集上进行预测
y_pred = model.predict(X_test)

# 评估模型
score = model.score(X_test, y_test)
print(f"Accuracy: {score}")