机器学习(数据集划分/准确率评估/归一化/标准化/超参数搜索和网络搜索)

最新推荐文章于 2023-03-08 11:35:31 发布
VIP文章 最新推荐文章于 2023-03-08 11:35:31 发布
阅读量1k 收藏 11
点赞数
分类专栏： 机器学习 算法 文章标签： 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LeFran/article/details/118951391
版权

机器学习

算法流程

在这里插入图片描述

  1. 获取数据
  2. 数据基本处理
  3. 特征工程
  4. 机器学习(模型训练)
  5. 模型评估

1 (数据集)数据集的划分 :避免过拟合(避免上线尴尬)

测试集 最好只能用一次
一般将数据中的70%-80%作为训练数据，将剩余的作为测试数据
注意:

  • 在训练集测试集划分的时候都会先做乱序
  • X_train y_train 训练集的特征和目标
  • X_test y_test 测试集的特征和目标
  • 一般训练集测试集的比例 70% 30%
    • 80% 20%
    • random_state 每一次划分训练集测试集都是一样的

导包以及API:

from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.2,random_
最低0.47元/天 解锁文章
DI O
关注
  • 0
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
深度学习（六） 测试数据集归一化
zhangxue1232的博客
03-17 2371
对测试数据集如何归一化呢？ 所以要保存训练集的均值和方差。 在scikit-learn对于数据归一化封装了一个类Scaler. 进行封装： import numpy as np class StandardScaler: def __init__(self): self.mean=None self.scale=None; def fit(self,X): """根据训练数据集X获得数据的均值和方差
监督学习：使用预测模型进行分类，并比较不同算法在同一数据集上的表现
02-15
监督学习：使用预测模型进行分类，并比较不同算法在同一数据集上的表现
信息检索（IR）的评价指标介绍 - 准确率、召回率、F1、mAP、ROC、AUC
热门推荐
架构和代码
07-06 5万+
在信息检索、分类体系中，有一系列的指标，搞清楚这些指标对于评价检索和分类性能非常重要，因此最近根据网友的博客做了一个汇总。准确率、召回率、F1信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate)，召回率也叫查全率，准确率也叫查准率，概念公式:             召回率(Recall)      =  系统检索到的相关文件 /
标准化，归一化与训练-测试集数据处理
林源的博客
02-20 1万+
标准化，归一化与训练-测试集数据处理1. 标准化，归一化的区别数据预处理的归一化手段应该如何应用到训练集，测试集和验证集中？问题：回答1：回答2问题3回答1回答2问题4回答1 1. 标准化，归一化的区别 作者：宝珠道人 链接：https://www.zhihu.com/question/361290840/answer/939504181 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。个人有删改 归一化和标准化本质上都是一种线性变换。线性变换保持线性组合与线性关系式不变，这
聊聊机器学习中的那些花儿：标准化、归一化、正则化、离散化和白化
Python作业辅导员 - 天元浪子
04-02 9539
机器学习的本质是从数据集中发现数据内在的特征，而数据的内在特征往往被样本的规格、分布范围等外在特征所掩盖。数据预处理正是为了最大限度地帮助机器学习模型或算法找到数据内在特征所做的一系列操作，这些操作主要包括标准化、归一化、正则化、离散化和白化等。
机器学习—分类算法的对比实验
ex_6450的博客
08-05 2354
对各种机器学习分类算法进行对比，以鸢尾花数据集为例，我们从绘制的分类边界效果以及实验评估指标（Precision、Recall、F1-socre）分别进行对比。# 第一步，数据准备 from sklearn import datasets # 引入iris数据 import numpy as np。...
BUAA三系模式识别与机器学习大作业-EEG运动/想象数据集的EEG分类+源代码+文档说明
12-23
1、资源内容：BUAA三系模式识别与机器学习大作业-EEG运动/想象数据集的EEG分类+源代码+文档说明 2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、注释明细，都经过测试...
机器学习/数据挖掘范例3
10-22
机器学习/数据挖掘范例-电子商务网站用户行为分析及服务推荐（PYTHON代码及相关数据）
机器学习/数据挖掘范例1
10-22
机器学习/数据挖掘范例-财政收入影响因素分析及预测模型（PYTHON代码及相关数据）
机器学习/数据挖掘范例2
10-22
机器学习/数据挖掘范例-电力窃漏电用户自动识别（PYTHON代码及相关数据）
机器学习大作业-基于神经网络的MNIST手写数字识别+数据集+源代码+文档说明
最新发布
12-23
1、资源内容：机器学习大作业-基于神经网络的MNIST手写数字识别+数据集+源代码+文档说明 2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、注释明细，都经过测试运行成功...
深度学习中过拟合与防止过拟合的方法
象牙塔小明的博客
01-21 894
1.什么是过拟合？ 过拟合（overfitting）是指在模型参数拟合过程中的问题，由于训练数据包含抽样误差，训练时，复杂的模型将抽样误差也考虑在内，将抽样误差也进行了很好的拟合。 具体表现就是最终模型在训练集上效果好；在测试集上效果差。模型泛化能力弱。 2.过拟合产生的原因？ （1）在对模型进行训练时，有可能遇到训练数据不够，即训练数据无法对整个数据的分布进行估计的时候 （2）权值学习迭代次数...
初学数据挖掘——数据探索（三）：数据特征分析之对比分析
qq_45154565的博客
10-27 2167
一、对比分析： 对比分析是将两个相互联系的指标进行比较，从数量上展示和说明研究对象的各种关系（规模的大小、水平的高低、速度的快慢等）是否协调。分析其中的差异，从而揭示这些事物代表的发展变化情况以及变化规律。 二、对比分析的原则： 对比对象相似：对比对象越相似，就越具有可比性。 对比指标同质 三、对比分析的特点： 简单：因为与其他分析比较对比分析操作步骤少，不需要太复杂的计算。 直观：是指能够直接看出事物的变化或差距，非常明显的知晓对比数据的相同或不同。 量化：是指能够准确表示出变化或差距是多少，然后根
数据分析方法01对比分析法
huaruiyi的博客
03-08 720
数据分析方法01对比分析法
毒蘑菇数据集的分类及评估
weixin_43333607的博客
06-27 3432
对于朴素贝叶斯算法，准确率为93.3%，召回率为88.3%，从准确率及召回率值来看，朴素贝叶斯分类算法可以用于预测，但与决策树及KNN算法相比，朴素贝叶斯算法的预测能力还是不够的。由于分析对象是蘑菇是否有毒，对于食用物来说我们要提高召回率即查全率，相比三种模型，决策树和KNN都将准确率和召回率达到最大值，可很有说服力的作为预测模型，相比较而言朴素贝叶斯召回率只有88.3%，由于有更好的预测模型，因此可以忽略朴素贝叶斯方法。a) 查看数据行列情况，判断是否有空行，进行删除；决策树效果：（未解决中文乱码问题）
最大值最小值归一化&标准归一化（均值归一化，标准归一化）
h2728677716的博客
02-15 1万+
最大值最小值归一化 Xjmin是Xj所在列的最小值 Xjmax是Xj所在列的最大值 问题： 能做到归一化（0-1zhi之间），但是一旦数据中有一个离群值（特别大的值）就会出现这个离群值做完归一化后特别趋近于1，而其他值特别趋近于0 标准归一化 经过处理的数据符合标准正态分布即均值为0,标准差为1 Xmean：X所在列的均值 Standard Deviation：X所在列的标准差 标准差的公式会考虑到所有样本数据，所以受离群值影响会小一些。 但是如果使用标准归一化不一定会把
标准归一化和最大最小归一化
xiaotao_1的博客
01-16 4万+
1，标准归一化。 　　将原始数据集归一化为均值为0、方差1的数据集，归一化公式如下： x∗=x−μδ x^* = \frac{x-\mu}{\delta} 　　其中μ\mu为所有样本数据的均值，δ\delta为所有样本数据的标准差。 2，最大最小归一化。 　　将原始数据线性化的方法转换到[0 1]的范围，归一化公式如下： x∗=x−xmaxxmax−xminx^* = \frac{x-x
机器学习关键步骤（四）
NoteDing
02-08 2205
机器学习关键步骤（四） 机器学习有四个关键步骤。 (1) 数据准备，理和准备待分析的数据。 (2) 算法选择，根据需求挑选算法为数据建立模型。 (3) 参数调优，优化模型结果。 (4) 模型评估，根据准确度评价模型选出最好的。 1.4　评价模型 建好模型之后，必须对它进行评价。我们经常会使用一些评价指标来比较模型的预测准确度。对于如何定义和惩罚不同类型的预测误差，不同的评价指标各不相同。 接下来，我们将探讨 3 种常用的评价指标：预测准确率、混淆矩阵和均方根误差。根据学习目标的要求，有时甚至会设计新的评价指
深入理解机器学习——数据集的划分与模型评估方法
冯·诺依曼
04-03 1万+
通常我们把分类错误的样本数占样本总数的比例称为错误率（Error Rate)，即如果在mmm个样本中有aaa个样本分类错误，则错误率E=amE=\frac{a}{m}E=ma​相应的，Accuracy=1−am\text{Accuracy}=1-\frac{a}{m}Accuracy=1−ma​称为准确率（Accuracy），即“精度=1-错误率”。更一般地，我们把学习器的实际预测输出与样本的真实输出之间的差异称为误差（Error），学习器在训练集上的误差称为训练误差（Training Error）/经验误
Gaitset怎么使用自己的数据集
08-07
### 回答1： A：如果您想使用自己的数据集来训练GaitSet模型，可以参考以下步骤： 1. 准备数据集：您需要准备一个含有多个个体的步态数据集，每个个体的数据应该包括多个步态循环。 2. 数据预处理：您需要对数据进行预处理，如去除噪声，对齐步态循环等。你需要将数据转换为适当的格式，以便可以用于GaitSet。 3. 划分训练集和测试集：将数据集划分为训练集和测试集。 4. 训练GaitSet模型：使用训练集，您可以训练GaitSet模型。在训练过程中要注意超参数的调整和监测训练过程的指标，如损失和准确率等。 5. 测试GaitSet模型：使用测试集，您可以测试GaitSet模型的性能，如准确率和召回率等。 6. 优化模型：通过对模型的改进和优化，您可以提高模型的性能。 7. 应用模型：将优化后的模型应用于实际场景中，如步态识别或者行人重识别。 ### 回答2： Gaitset是一个用于步态识别的数据集，要使用自己的数据集进行步态识别，可以按照以下步骤进行： 1.数据采集：使用一个或多个传感器（如加速度计或惯性测量单元）来收集样本数据。数据采集过程中，需要确保被测试者在相同的环境下进行采集，保持姿势和步态一致。 2.数据预处理：对采集到的数据进行预处理，包括去噪、滤波和标准化等操作。去噪可以去除由传感器噪声引起的不良信号，滤波可以平滑数据，标准化可以将数据映射到一个统一的范围。 3.特征提取：从预处理后的数据中提取有效的步态特征。常用的特征包括步态周期、步幅、步频和步态时序等。可以使用不同的特征提取方法，如时域特征、频域特征和时频域特征来获取更全面的信息。 4.模型训练：将提取到的特征与标记好的步态样本进行训练。可以使用机器学习算法如支持向量机（SVM）或深度学习模型如卷积神经网络（CNN）来构建步态识别模型。在训练过程中，可以采用交叉验证等方法来评估模型的性能。 5.模型测试与评估：使用训练好的模型对新的未知数据进行测试，并评估模型的性能指标，如准确率、召回率和F1分数等。可以采用混淆矩阵或ROC曲线等方法来评估模型的分类效果。 6.模型优化：根据测试结果，可以对模型进行调整和优化，如调整模型的参数或增加更多的训练数据等，以提高模型的识别准确率和鲁棒性。 通过以上步骤，就能够使用Gaitset数据集以及自己的数据集进行步态识别的训练和测试。 ### 回答3： Gaitset是一个用于人体步态识别的数据集，使用它可以实现对人体步态的自动识别和辨识。以下是使用Gaitset数据集的步骤： 1. 下载数据集：可以从Gaitset官方网站或其他可信的数据源下载数据集。确保数据集是完整的且包含所需的所有图像和标签。 2. 数据集预处理：在使用数据集之前，需要进行数据的预处理。这包括图像的裁剪、调整大小、灰度化、归一化等。还可以将数据集划分为训练集和测试集，用于训练和评估模型。 3. 特征提取：提取图像数据的特征，以便用于人体步态的识别。可以通过使用卷积神经网络（CNN）或其他特征提取技术，将图像转换为更具代表性的特征向量。 4. 模型训练：使用预处理后的数据集，训练一个适合步态识别的模型。可以选择传统的机器学习模型（如支持向量机）或深度学习模型（如卷积神经网络）。 5. 模型评估：使用测试集进行模型的评估，评估模型的准确率、精确率、召回率等指标，以确定模型的性能如何。 6. 预测和应用：使用训练好的模型对新的步态数据进行预测和识别。可以将该模型应用于实际场景，如安全监控、身份识别等。 需要注意的是，使用Gaitset数据集进行人体步态识别需要对相关的机器学习和图像处理技术有一定的了解，同时还需要使用合适的编程语言和工具进行实现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值