机器学习算法自学笔记

最新推荐文章于 2024-05-02 10:35:33 发布

Zer0508

最新推荐文章于 2024-05-02 10:35:33 发布

阅读量153

点赞数 1

文章标签：机器学习算法 sklearn

本文链接：https://blog.csdn.net/Zer0508/article/details/124631141

版权

文章目录

一、K近邻算法
二、线性回归
- （一）API
- - 1.1 API使用
  - 1.2 示例
三、正则化
四、模型保存和加载
- （一）API
- - 1.1 API使用
  - 1.2 示例

一、K近邻算法

（一）API

1.1 API使用

代码如下：

import sklearn
sklearn.neighbors.KNeighborsClassifier(n_neighbors=5)
# n_neighbors：int,可选（默认= 5），k_neighbors查询默认使用的邻居数

1.2 示例

# 导入模块
from sklearn.neighbors import KNeighborsClassifier
# 构造数据集
x = [[0], [1], [2], [3]]
y = [0, 0, 1, 1]
# 模型构造--模型训练
# 实例化API
estimator = KNeighborsClassifier(n_neighbors=2)
# 使用fit方法进行训练
estimator.fit(x, y)

estimator.predict([[1]])

（二）k值选择

k值过小
- 容易受异常点的影响。
- 容易过拟合
k值过大
- 收到样本均衡的问题。
- 容易欠拟合

K值选择问题，李航博士的一书「统计学习方法」上所说：

选择较小的K值，就相当于用较小的领域中的训练实例进行预测，“学习”近似误差会减小，只有与输入实例较近或相似的训练实例才会对预测结果起作用，与此同时带来的问题是“学习”的估计误差会增大，换句话说，K值的减小就意味着整体模型变得复杂，容易发生过拟合；
选择较大的K值，就相当于用较大领域中的训练实例进行预测，其优点是可以减少学习的估计误差，但缺点是学习的近似误差会增大。这时候，与输入实例较远（不相似的）训练实例也会对预测器作用，使预测发生错误，且K值的增大就意味着整体的模型变得简单。
K=N（N为训练样本个数），则完全不足取，因为此时无论输入实例是什么，都只是简单的预测它属于在训练实例中最多的类，模型过于简单，忽略了训练实例中大量有用信息。

在实际应用中，K值一般取一个比较小的数值，例如采用交叉验证法（简单来说，就是把训练数据在分成两组:训练集和验证集）来选择最优的K值。

近似误差：
- 对现有训练集的训练误差，关注训练集，
- 如果近似误差过小可能会出现过拟合的现象，对现有的训练集能有很好的预测，但是对未知的测试样本将会出现较大偏差的预测。
- 模型本身不是最接近最佳模型。
估计误差：
- 可以理解为对测试集的测试误差，关注测试集，
- 估计误差小说明对未知数据的预测能力好，
- 模型本身最接近最佳模型。

（二）总结

sklearn的优势：
- 文档多,且规范
- 包含的算法多
- 实现起来容易
knn中的api
- sklearn.neighbors.KNeighborsClassifier(n_neighbors=5)
k值过小
- 容易受异常点的影响。
- 容易过拟合
k值过大
- 收到样本均衡的问题。
- 容易欠拟合

二、线性回归

（一）API

1.1 API使用

sklearn.linear_model.LinearRegression(fit_intercept=True) 通过正规方程
- 参数
  - fit_intercept：是否计算偏置
- 属性
  - LinearRegression.coef_：回归系数
  - LinearRegression.intercept_：偏置
sklearn.linear_model.SGDRegressor(loss=“squared_loss”, fit_intercept=True, learning_rate =‘invscaling’, eta0=0.01) 通过随机梯度下降学习
- SGDRegressor类实现了随机梯度下降学习，它支持不同的loss函数和正则化惩罚项来拟合线性回归模型。
- 参数：
  - loss:损失类型
  - loss=”squared_loss”: 普通最小二乘法
  - fit_intercept：是否计算偏置
  - learning_rate : string, optional
    - 学习率填充
    - ‘constant’: eta = eta0
    - ‘optimal’: eta = 1.0 / (alpha * (t + t0)) [default]
    - ‘invscaling’: eta = eta0 / pow(t, power_t)
      - power_t=0.25:存在父类当中
    - 对于一个常数值的学习率来说，可以使用learning_rate=’constant’ ，并使用eta0来指定学习率。
- 属性：
  - SGDRegressor.coef_：回归系数
  - SGDRegressor.intercept_：偏置

1.2 示例

# 导入模型
from sklearn.linear_model import LinearRegression
# 构造数据集
x = [[80, 86],
[82, 80],
[85, 78],
[90, 90],
[86, 82],
[82, 90],
[78, 80],
[92, 94]]
y = [84.2, 80.6, 80.1, 90, 83.2, 87.6, 79.4, 93.4]
# 机器学习--模型训练
# 实例化API
estimator = LinearRegression()
# 使用fit方法进行训练
estimator.fit(x,y)

estimator.coef_

estimator.predict([[100, 80]])

三、正则化

（一）正则化类别

L2正则化
- 作用：可以使得其中一些W的都很小，都接近于0，削弱某个特征的影响
- 优点：越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象
- Ridge回归
L1正则化
- 作用：可以使得其中一些W的值直接为0，删除这个特征的影响
- LASSO回归
总结
- Ridge Regression 岭回归
  - 就是把系数添加平方项
  - 然后限制系数值的大小
  - α值越小，系数值越大，α越大，系数值越小
- Lasso 回归
  - 对系数值进行绝对值处理
  - 由于绝对值在顶点处不可导，所以进行计算的过程中产生很多0，最后得到结果为：稀疏矩阵
- Elastic Net 弹性网络
  - 是前两个内容的综合
  - 设置了一个r,如果r=0–岭回归；r=1–Lasso回归
- Early stopping
  - 通过限制错误率的阈值，进行停止
    正则化力度越大，权重系数会越小
    正则化力度越小，权重系数会越大

（二）API

2.1 岭回归

sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver=“auto”, normalize=False)
- 具有l2正则化的线性回归
- alpha:正则化力度，也叫 λ
- λ取值：0~1 1~10
- solver:会根据数据自动选择优化方法
- sag:如果数据集、特征都比较大，选择该随机梯度下降优化
- normalize:数据是否进行标准化
- normalize=False:可以在fit之前调用preprocessing.StandardScaler标准化数据
- Ridge.coef_:回归权重
- Ridge.intercept_:回归偏置
  Ridge方法相当于SGDRegressor(penalty=‘l2’, loss=“squared_loss”),只不过SGDRegressor实现了一个普通的随机梯度下降学习，推荐使用Ridge(实现了SAG)
sklearn.linear_model.RidgeCV(_BaseRidgeCV, RegressorMixin)
- 具有l2正则化的线性回归，可以进行交叉验证
- coef_:回归系数

四、模型保存和加载

（一）API

1.1 API使用

from sklearn.externals import joblib
保存：joblib.dump(estimator, ‘test.pkl’)
加载：estimator = joblib.load(‘test.pkl’)
注意：
- 1.保存文件，后缀名是**.pkl
- 2.加载模型是需要通过一个变量进行承接

1.2 示例

def load_dump_demo():
    """
    模型保存和加载
    :return:
    """
    # 1.获取数据
    data = load_boston()

    # 2.数据集划分
    x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)

    # 3.特征工程-标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.fit_transform(x_test)

    # 4.机器学习-线性回归(岭回归)
    # # 4.1 模型训练
    # estimator = Ridge(alpha=1)
    # estimator.fit(x_train, y_train)
    #
    # # 4.2 模型保存
    # joblib.dump(estimator, "./data/test.pkl")

    # 4.3 模型加载
    estimator = joblib.load("./data/test.pkl")

    # 5.模型评估
    # 5.1 获取系数等值
    y_predict = estimator.predict(x_test)
    print("预测值为:\n", y_predict)
    print("模型中的系数为:\n", estimator.coef_)
    print("模型中的偏置为:\n", estimator.intercept_)

    # 5.2 评价
    # 均方误差
    error = mean_squared_error(y_test, y_predict)
    print("误差为:\n", error)