sklearn基础学习笔记

最新推荐文章于 2022-02-17 12:40:23 发布
最新推荐文章于 2022-02-17 12:40:23 发布
阅读量2.6k 收藏 2
点赞数
分类专栏： 人工智能 算法 文章标签： 机器学习 tensorflow 算法 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010155987/article/details/86554213
版权

本文对scikit-learn中常用的class 和function做一个总结。

一、sklearn.cluster 聚类算法

class：cluster.KMeans([n_clusters, init, n_init, …])

KMeans(n_clusters=8, init='k-means++', n_init=10, max_iter=300, tol=0.0001, 
precompute_distances='auto', verbose=0, random_state=None, copy_x=True, 
n_jobs=1, algorithm='auto')

参数说明：

  • n_clusters：簇的数量及中心点的数量，即K值。除n_clusters外，其他参数都是KMeans算法的优化。
  • init：初始化方法，可选参数’k-means++’、'random’或给定一个ndarray数组，默认为k-means++。
  • n_int：KMeans算法以不同中心点运行的次数，最终的结果采用最好的输出。
  • max_iter：最大迭代次数，默认300

属性：

  • cluster_centers_：array，簇的中心点坐标
  • labels_：每个样本对应簇的下标（0，1，2…）
  • inertia_：float，所有样本到他们距离最近的簇中心点的距离的和。

方法：

  • fit(X)：基于样本X对模型进行训练
  • predict(X)：预测样本X所属的类别（簇）
  • score(X)：KMeans算法中所有样本到簇中心距离总和的相反数，数值越大表明模型效果越好。

KMeans 损失函数：
属性值 inertia_ 与方法 score(X)
两者互为相反数，绝对值越小表明模型效果越好。

※score()方法可以做交叉验证用，但是KMeans交叉验证效果不好，总是K最大的效果最好。

cluster.MiniBatchKMeans([n_clusters, init, …])

MiniBatchKMeans(n_clusters=8, init='k-means++', max_iter=100, batch_size=100, 
verbose=0, compute_labels=True, random_state=None, tol=0.0, max_no_improvement=10, 
init_size=None, n_init=3, reassignment_ratio=0.01)

参数说明：

computer_labels：Boolean，是否计算训练集的标签，默认为True。

属性：

labels_：训练集的分类标签

方法：

  • partial_fit(X[, y])：从X中选取小批量数据进行模型训练。

※ sk-learn中所有含partial_fit()方法的模型都支持分批次训练模型：训练之后保存，下次加载继续进行训练。如果没有该方法，则不支持保存之后再继续训练。

Mini-Batch KMeans训练时间大概是KMeans训练时间的1/3左右。

二、sklearn.model_selection

function：model_selection.train_test_split(*arrays, **options)
将数据集arrays按照一定比例随机分割成训练集和测试集，返回分割后的训练集和测试集。

import numpy as np
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.3, random_state=42)

参数说明：

  • X, y：待分割的数据集，允许同时分割多个数据集
  • test_size：指定分割比例，test_size是分割之后测试集所占比例
  • random_state：随机数种子，保证多次运行效果一致

三、sklearn.datasets

包含很多数据（如波士顿房屋租赁、鸢尾花分类等），可以直接下载用于训练模型。

samples generator：

  • datasets.make_blobs([n_samples, n_features, …])
    产生各向同性的符合高斯分布的数据点，用于聚类
  • datasets.make_gaussian_quantiles([mean, …])
    创建符合高斯分布的数据集

datasets.make_blobs([n_samples, n_features, …])

创建符合各向同性的高斯分布的数据集，用于聚类模型训练，返回创建好的数据集。

make_blobs(n_samples=100, n_features=2, centers=3, cluster_std=1.0, center_box=(-10.0, 10.0), shuffle=True, random_state=None)

参数说明：

  • n_samples：数据集中的样本点数
  • n_features：每个样本的维度，即特征数目
  • centers：int or array of shape [ n_centers, n_features]，中心点的数目（默认为3）或指定中心点坐标。
  • cluster_std：样本簇的标准差，默认为1.0
  • center_box：pair of floats（min， max），样本簇的边界，最小值和最大值
  • shuffle：是否打乱顺序，默认打乱
  • random_state：随机数种子

四、sklearn.ensemble 集成算法

class：

随机森林

ensemble.RandomForestRegressor([…])

ensemble.RandomForestClassifier([…])

ensemble.IsolationForest([n_estimators, …])

Bagging

ensemble.BaggingClassifier([base_estimator, …])

ensemble.BaggingRegressor([base_estimator, …])

Adaboost

ensemble.AdaBoostClassifier([…])

ensemble.AdaBoostRegressor([base_estimator, …])

GBDT

ensemble.GradientBoostingClassifier([loss, …])

GradientBoostingClassifier(loss='deviance', learning_rate=0.1, n_estimators=100, 
subsample=1.0, criterion='friedman_mse', min_samples_split=2, min_samples_leaf=1, 
min_weight_fraction_leaf=0.0, max_depth=3, min_impurity_split=1e-07, init=None, random_state=None,
 max_features=None, verbose=0, max_leaf_nodes=None, warm_start=False, presort='auto'

参数说明：

  • learning_rate：学习率，默认为0.1
  • n_estimators：基学习器（即子模型）个数，默认为100
  • subsample：
  • criterion：划分依据
  • min_samples_split：划分节点所需的最小样本数，默认为2
  • min_samples_leaf：
  • max_depth：子模型决策树的最大深度

ensemble.GradientBoostingRegressor([loss, …])

五、sklearn.linear_model

弹性网络

linear_model.ElasticNet([alpha, l1_ratio, …])

linear_model.ElasticNetCV([l1_ratio, eps, …])

linear_model.Lasso([alpha, fit_intercept, …])

linear_model.LinearRegression([…])：最简单的线性回归模型，主要用于

LinearRegression(fit_intercept=True, normalize=False, copy_X=True, n_jobs=1)

参数说明：

  • fit_intercept：是否训练截距项，默认训练
  • normalize：数据集X是否标准化，默认不进行标准化
  • copy_X：对数据集X是否拷贝一个副本。若为True，对拷贝的副本X进行训练；若为False，则直接对X进行训练。

※ 一般来说只设置fit_intercept参数，其它参数默认。

linear_model.LogisticRegression([penalty, …])：对数几率回归，主要

linear_model.Ridge([alpha, fit_intercept, …])

linear_model.RidgeClassifier([alpha, …])

六、sklearn.metrics

sklearn.metrics中的方法主要用于评估模型性能，以下方法第一个参数都是样本的真实值，第二个参数都是模型的预测值。

Classification metrics

  • metrics.accuracy_score(y_true, y_pred[, …])：分类的准确率

  • metrics.classification_report(y_true, y_pred)：模型分类效果的评估报告

  • metrics.confusion_matrix(y_true, y_pred[, …])：混淆矩阵

  • metrics.f1_score(y_true, y_pred[, labels, …])：F1指标

  • metrics.precision_score(y_true, y_pred[, …])：精确率

  • metrics.recall_score(y_true, y_pred[, …])：召回率

混淆矩阵

在这里插入图片描述
设总的样本数为total

  • 准确率（Accuracy）：模型预测正确的样本数/总的样本数，( TP + TN ) / total
  • 精确率（Precision）：模型预测正确的正例样本数/模型预测为正例的样本数，TP / ( TP + FP )
  • 召回率（Recall）： 模型预测正确的正例样本数/真实的正例样本数，TP / ( TP + FN )
    ※Precision - FP；Recall - FN
  • F值：精确率和召回率的调和平均值，PrecisionRecall2 / ( Precision + Recall )
Regression metrics

  • metrics.mean_absolute_error(y_true, y_pred)：MAE，绝对值误差，真实值与预测值之差的总和，值越小表明模型效果越好。

  • metrics.mean_squared_error(y_true, y_pred[, …])：MSE，均方差，值越小（越接近0）表明模型效果越好

  • metrics.r2_score(y_true, y_pred[, …])：R2，表征回归模型的性能，值越接近1 表示效果越好。

###########################################

设置属性，防止中文乱码：
mpl.rcParams[‘font.sans-serif’] = [u’simHei’]
mpl.rcParams[‘axes.unicode_minus’] = Flase

###########################################
~持续更新中······

江湖人·92
关注
专栏目录
sklearn手写体数据集 Dataloader分batch训练
AsajuHuishi的博客
05-19 973
from sklearn.datasets import load_digits from torch.utils.data import DataLoader import numpy as np digits = load_digits() img = digits['images'] #(1797,8,8) img = img[:,np.newaxis,:,:] #(1797,1,8,8) dataloader = DataLoader(img, batch_size=4, shuffle=Tru
BATCH批量训练和梯度下降动量法（李宏毅老师机器学习2021笔记）
TVfan的博客
03-18 1263
优化问题
python之sklearn学习笔记
一个人漫步走
12-21 4万+
前言：本文是学习笔记。sklearn介绍scikit-learn是数据挖掘与分析的简单而有效的工具。 依赖于NumPy， SciPy和matplotlib。它主要包含以下几部分内容： 从功能来分： classification Regression Clustering Dimensionality reduction Model selection Preprocessing 从API模块来分
批训练 DataLoader ，minibatch training，BATCH_SIZE，
CSPhD-winston的博客
04-16 754
要点 Torch 中提供了一种帮你整理你的数据结构的好东西, 叫做 DataLoader, 我们能用它来包装自己的数据, 进行批训练. DataLoader DataLoader 是 torch 给你用来包装你的数据的工具. 所以你要讲自己的 (numpy array 或其他) 数据形式装换成 Tensor, 然后再放进这个包装器中. 使用 DataLoader 有什么好处呢? 就是他们帮你有效地...
sklearn学习总结（超全面）
热门推荐
fuqiuai的博客
03-09 4万+
sklearn的官网链接http://scikit-learn.org/stable/index.html# 目录 1. 分类、回归 2. 降维 3. 模型评估与选择 4. 数据预处理 大类 小类 适用问题 实现 说明 分类、回归 1.1 广义线性模型 1.1.1 普通最小二乘法 回归 sk...
sklearn机器学习笔记：数据预处理与特征工程.pdf
07-10
总的来说，sklearn库为数据预处理和特征工程提供了强大的支持，使得开发者能够高效地处理和优化数据，为构建高质量的机器学习模型奠定基础。通过对数据进行适当的预处理和特征工程，我们可以提升模型的预测性能，...
（sklearn学习笔记）逻辑回归
weixin_48821464的博客
05-27 1584
听了菜菜的sklearn课程所做的学习笔记逻辑回归的基础一线性回归简介 逻辑回归的基础一线性回归简介
Tensorflow学习笔记（三）上–Tensorflow基础API使用
01-20
在本篇TensorFlow学习笔记中，我们将探讨TensorFlow的基础API，这些API提供了更灵活的模型定义和使用方式。首先，我们需要导入必要的库，包括matplotlib、numpy、pandas、sklearn、os、sys、time和TensorFlow。接...
Sklearn学习笔记（1）——数据预处理
Robin_Pi的博客
01-14 898
Sklearn学习笔记 1-数据预处理写在开始1. 标准化/去均值和方差缩放目的原因：具体实现：StandardScaler()2. 将特征缩放至特定范围内2.1 MinMaxScaler() ：缩放到0 和 1 之间2.2 MaxAbsScaler()3. 归一化3.1 normalize ()3.2 Normalizer()4. 类别特征编码4.1 OrdinalEncoder ()4.2 O...
集成学习笔记02 使用sklearn构建基本的机器学习模型
ritatype的博客
03-18 373
集成学习笔记02 使用sklearn构建基本的机器学习模型 学习参考datawhale 1.线性回归模型 sklearn内有关于线性回归的函数LinearRegression()，简单的线性回归代码如下： import pandas as pd from sklearn import datasets boston = datasets.load_boston() # 返回一个类似于字典的类 X = boston.data y = boston.target features = boston.feat
sklearn学习笔记之开始
diaojiu2755的博客
08-10 151
简介   自2007年发布以来，scikit-learn已经成为Python重要的机器学习库了。scikit-learn简称sklearn，支持包括分类、回归、降维和聚类四大机器学习算法。还包含了特征提取、数据处理和模型评估三大模块。  sklearn是Scipy的扩展，建立在NumPy和matplotlib库的基础上。利用这几大模块的优势，可以大大提高机器学习的效率。  sklear...
机器学习Sklearn 学习总结1——特征工程
qq_50909707的博客
02-17 1245
一、数据集的划分 训练数据：用于训练，构建模型 测试数据：在模型检验时使用，用于评估模型是否有效 from sklearn.model_selection import train_test_split 测试集：20%~30% 二、特征工程 pandas 数据清理、数据处理 特征抽取/特征提取 机器学习算法 - 统计方法 - 数学公式 文本类型 ——>数值 类型——>数值 ...
SVM训练及预测过程
Alpine_Climbing的专栏
03-01 7479
网上有很多关于LibSVM的教程，LibSVM提供了多平台下的可执行文件，在win平台下可以直接通过命令行执行，可以利用提供的可执行文件方便的进行离线的训练和预测，这里不再赘述。这篇文章要做的是把SVM的训练及预测的过程移植到程序当中的方法进行简单阐述，而不是使用提供的可执行文件。     过程首先要建立工程，这里以VC6.0为例，建立好工程后，需要将LibSVM中的svm.h和svm.cpp文
SVM训练样本方法总结（用于目标识别）
xw20084898的专栏
03-17 3万+
SVM样本训练步骤 1、引言 近期在做飞形体目标识别的研究，需要做SVM训练来生成识别的分类器。从网上找了大量的参考文章，但是发现很多文章都讲的比较零散。鉴于此原因，本文对SVM训练过程做一个较为系统的总结，希望对广大初学者有所帮助。 2、步骤 （1）生成SVM描述文件； 将需要训练的样本文件的路径和对应的分类类别号写入txt文档，如： plane/飞机训练正样本Normalize/0
sklearn的使用之数据集的拆分与训练（python3.6）
子耶
04-15 7323
研修课上讲了两个例子，融合一下。 主要演示大致的过程： 导入->拆分->训练->模型报告 以及几个重要问题： ①标签二值化 ②网格搜索法调参 ③k折交叉验证 ④增加噪声特征（之前涉及） from sklearn import datasets #从cross_validation导入会出现warning，说已弃用 from sklearn.model_select...
keras 分批训练 详解 - keras进阶系列01
蓝一潇的博客
02-14 1万+
我们今天来讲一讲使用keras框架来进行分批训练 刚入门的深度学习爱好者由于数据量不是很大，倾向于将所有数据读入内存之后直接送入模型进行学习，这样的优点是简单，复杂度小，但是缺点也非常明显：能训练的数据较少，无法训练较大的模型。那些在网上的教程，或者是所谓的“深度学习课程”往往对这个问题避而不谈，估计是商业目的使然。而真正的商用的模型往往需要几天时间甚至几个月时间来训练。那么，用keras怎么来训...
嵩天教授机器学习笔记：分类与sklearn应用
此外，笔记还涉及了sklearn库的安装和使用，以及该库中的标准数据集，如波士顿房价数据集、鸢尾花数据集、手写数字数据集等，它们在机器学习教程中作为示例数据被广泛使用。 通过这份笔记，读者可以系统地理解机器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值