机器学习的建模流程

已于 2024-05-07 20:52:43 修改
阅读量881 收藏 19
点赞数 8
分类专栏： 机器学习 文章标签： 机器学习 人工智能
于 2024-05-07 20:52:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lx2929266892/article/details/138544457
版权

目录

流程概述

获取数据

数据基本处理

特征工程

        概述

        内容

                特征提取:

                特征预处理:

                特征降维:

                特征选择:

                特征组合:

机器学习(模型训练)

模型评估

        分类

        模型拟合问题

                  拟合

​编辑

                三种情况

                                正好拟合：

                                欠拟合：

                                过拟合：

                泛化

                奥卡姆剃刀原则

总结

流程概述

   

获取数据

  • 获取经验数据
  • 图像数据
  • 文本数据
  • 用户数据
  • ......

数据基本处理

  • 数据缺失值处理
  • 异常值处理
  • ......

特征工程

        概述

                特征:对任务有用 的属性信息

                特征工程:利用专业背景知识和技巧处理数据,让模型效果更好

        内容

                特征提取:

                               从原始数据中提取与任务相关的特征，构成特征向量

                特征预处理:

                        特征对模型产生影响；因量纲问题，有些特征对模型影响大、有些影响小

                        

                        将不同的单位的特征数据转换成同一个范围内,

                        使训练数据中不同特征对模型产生较为一致的影响

                        不同特征堆模型影响一致性,其中量纲问题用:归一化,标准化

                特征降维:

                                保证数据的主要信息要保留下来

                特征选择:

                                原始数据特征很多，但是对任务相关是其中一个特征集合子集。

                                从特征中选则出一些重要特征训练模型

                特征组合:

                                把多个特征合并组合成一个特征

机器学习(模型训练)

        KNN近邻算法
        线形回归
        逻辑回归
        决策树
        GBDT
        ......

模型评估

        分类

                回归评测指标:MAE   MSE

                分类评测指标:准确率

                聚类评测指标:CH,SC...

        模型拟合问题

                  拟合

                                用来表示模型对样本点的拟合情况

                三种情况

                                正好拟合：

                                                用来表示模型对样本点的拟合情况

                                欠拟合：

                                                模型在训练集上表现很差、在测试集表现也很差   

                                                原因：模型过于简单

                                过拟合：

                                                模型在训练集上表现很好、在测试集表现很差

                                                原因：模型太过于复杂、数据不纯、训练数据太少

                泛化

                        模型在新数据集（非训练数据）上的表现好坏的能力

                奥卡姆剃刀原则

                         给定两个具有相同泛化误差的模型，较简单的模型比较复杂的模型更可取

总结

       以上就是机器学习的建模流程,内容比较基础,想要学习机器学习的朋友,可以在此基础上去看看其他大佬们更深层次的讲解,谢谢观看.

笑_发财了
关注
  • 8
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习建模一般流程
Quintin
11-08 148
机器学习建模一般流程
Python机器学习建模的标准流程（特征工程+建模调参+模型评估+全流程可视化）
qq_42216093的博客
09-13 3462
作者CSDN：进击的西西弗斯 本文链接：https://blog.csdn.net/qq_42216093/article/details/116994199 版权声明：本文为作者原创文章，转载需征得作者同意 如今机器学习炙手可热，而对于数据分析师或是从事数据相关的工作者而言，Python是一种最常用的机器学习实现方式。本文将从实践的角度出发，以经典的泰坦尼克号幸存者数据集为例，以sklearn为主要工具，全面细致地讲解Python机器学习建模的标准化流程。 1. 特征工程 特征工程，就是将原..
【机器学习】终于把机器学习建模的重要步骤讲清楚了
fengdu78的博客
07-18 5536
把机器学习算法应用到实际问题中，需要遵守一定的流程以理解业务目的，了解数据的质量，合理地设计数据处理过程，并妥善安排模型的训练和生产端的部署等问题。按照通常的机器学习应用顺序，机器学习建模流程涉及几个重要的步骤，如图1所示。接下来将对每一个步骤展开讨论。图1 机器学习建模的重要步骤数据收集获得有效的数据是运用机器学习建模的第一个步骤，也是非常重要的步骤。这个步骤可能是一次...
机器学习的相关概念与建模流程
每天进步一点点！
01-16 1496
机器学习的相关定义和举例：鸢尾花分类，数据与数据集的相关概念，机器学习建模的一般流程
最全的机器学习模型训练全流程
GitHub质检员
01-01 1481
我们以随机森林为例。与上面解释的类似，训练集用于建立预测模型，同时对验证集进行评估，据此进行预测，可以进行模型调优（如超参数优化），并根据验证集的结果选择性能最好的模型。特别是，第一部分是较大的数据子集，用作训练集（如占原始数据的80%），第二部分通常是较小的子集，用作测试集（其余20%的数据）。除了只进行分类建模，我们还可以进行主成分分析（PCA），这将只利用X（独立）变量来辨别数据的底层结构，并在这样做的过程中允许将固有的数据簇可视化（如下图所示为一个假设图，其中簇根据3种企鹅物种进行了颜色编码）。
机器学习建模流程与思路_V3(2).pdf
12-18
机器学习建模流程与思路
基于Python机器学习金融大数据风控建模
最新发布
05-07
数据标准化/归一化：对于数值特征，进行标准化或归一化，以便机器学习模型更好地处理。 3. 特征工程 特征选择：选择与目标变量（如违约风险）最相关的特征。 特征创建：基于现有特征创建新的特征，如计算交易频率、...
Pyspatialml：空间数据的机器学习建模
02-16
空间栅格数据的机器学习分类和回归建模。 注意-此软件包仍在开发中，可能会做出重大更改。 描述 Pyspatialml是一个Python模块，用于将scikit-learn机器学习模型应用于栅格数据集的“堆栈”。 Pyspatialml包括用于...
数学建模，机器学习，深度学习，个人总结资料
12-02
数学建模学习过程的总结思维导图，以及开组会时汇报做的ppt
基于高斯过程机器学习的注塑过程建模及工艺参数优化设计.pdf
09-24
基于高斯过程机器学习的注塑过程建模及工艺参数优化设计.pdf
机器学习建模流程
m0_52118763的博客
03-25 7511
机器学习实战 机器学习三把斧 1.数据清洗 1.1缺失值的处理 某一列的特征缺失值达到40%左右，删除这个特征值；或者某一个样本的缺失值过大，那么删除这个样本。 而当某个特征的缺失值较少的时候，不能删除这个特征。 建模预测：把缺失值当做模型的预测值，用预测的值填充缺失值 多重插补：前向填充，后项填充 高维映射：就是把缺失值作为一个新的类，只对分类的变量比较好，在广告CTR（点击率） 1.2异常值的处理 异常：真实的异常，记录的异常。 真实的异常：本来就是这个值，只是和其他样本偏移较大 记录的异常：本
【Python机器学习系列】一文教你建立KNN模型预测房价（案例+源码）
数据杂坛
04-17 771
一文教你建立KNN模型预测房价（案例+源码）
一个完整的机器学习模型的流程
linxinloningg的博客
12-02 1万+
一个完整的机器学习模型的流程
机器学习1-机器学习中建模过程
热门推荐
wangzi11111111的博客
05-30 3万+
机器学习中建模过程 数据处理 特征工程 模型选择 寻找最佳超参数 模型分析与模型融合 1.数据处理 1.1机器学习中使用的数据的原则 属性的值和属性的名称应该具有实际的意义。 去除属性中相关度高的属性 去除对结果影响不大的属性 合理选择关联字段 1.2常见的数据预处理方法 数据清洗：数据清洗的目的不仅仅是清除错误点，冗余点和数据的噪声，还要将数据按照一定的...
机器学习系列3 机器学习的流程
极限突破者的博客
04-16 5466
在本文中,你将学习到: 1机器学习的流程。 2 理解基本术语概念，如“模型”，“训练”，“预测”，“过拟合”等。
机器学习建模
王大阳的博客
07-04 1101
文章目录1.机器学习模型概述1.1 模型与算法1.2 机器学习中的三要素1.3 机器学习模型2.传统机器学习模型（单模型）2.1 按任务类型划分2.1.1 分类2.1.2 回归2.2 按性质划分2.2.1 非概率模型（决策函数）2.2.2 概率模型2.3 按知识体系划分2.3.1 线性模型2.3.2 神经网络模型2.3.3支持向量机模型2.3.4贝叶斯模型2.3.5树模型3.集成与提升模型（boo...
机器学习—分类模型
如风飘荡的男子的博客
09-25 1万+
第二章 分类模型 给定训练数据 分类任务学习一个输入x到输出y的映射f： //最大后验估计 其中，y为离散值，其值范围为标签空间： 当C=2时，为两类分类问题 贝叶斯公式        先验概率                             p(y=c)//根据以往的经验和分析得到的概率                             类条件概率          ...
机器学习&数据挖掘笔记_16（常见面试之机器学习算法思想简单梳理）
weixin_34320724的博客
10-29 5979
  　　前言： 　　找工作时（IT行业），除了常见的软件开发以外，机器学习岗位也可以当作是一个选择，不少计算机方向的研究生都会接触这个，如果你的研究方向是机器学习/数据挖掘之类，且又对其非常感兴趣的话，可以考虑考虑该岗位，毕竟在机器智能没达到人类水平之前，机器学习可以作为一种重要手段，而随着科技的不断发展，相信这方面的人才需求也会越来越大。 　　纵观IT行业的招聘岗位，机器学习之类的岗位还是...
机器学习建模前如何进行算法选择
06-13
在机器学习建模前，我们需要根据具体的问题和数据集的情况，选择合适的算法来进行建模。一般而言，可以采用以下几个步骤来进行算法选择： 1. 确定问题类型：首先要确定问题的类型，是分类问题还是回归问题，还是聚类问题等。 2. 收集和处理数据：收集和预处理数据，包括数据清洗、数据归一化、特征选择等。 3. 选择算法类型：根据问题类型和数据情况，选择合适的算法类型，比如决策树、支持向量机、神经网络等。 4. 选择具体算法：在算法类型确定后，需要选择具体的算法，比如在决策树中可以选择ID3、CART、C4.5等算法。 5. 模型评估与选择：根据算法的表现，进行模型评估和选择，比如准确率、交叉验证等指标。 6. 调整参数：根据模型评估的结果，对算法进行参数调整，以提高模型的性能。 以上是算法选择的一般步骤，但具体的选择过程还需要根据具体问题和数据情况进行调整和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值