Datawhale-数据分析-Task05 数据建模及模型评估

最新推荐文章于 2022-06-22 16:14:52 发布
最新推荐文章于 2022-06-22 16:14:52 发布
阅读量190 收藏
点赞数
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/karry_zzj/article/details/108272409
版权

特征工程

缺失值填充

在这里插入图片描述

编码分类变量

在这里插入图片描述

模型搭建

处理完前面的数据我们就得到建模数据，下一步是选择合适模型
在进行模型选择之前我们需要先知道数据集最终是进行监督学习还是无监督学习
除了根据我们任务来选择模型外，还可以根据数据样本量以及特征的稀疏性来决定
刚开始我们总是先尝试使用一个基本的模型来作为其baseline，进而再训练其他模型做对比，最终选择泛化能力或性能比较好的模型

切割训练集和测试集

按比例切割训练集和测试集(一般测试集的比例有30%、25%、20%、15%和10%)
按目标变量分层进行等比切割
设置随机种子以便结果能复现在这里插入图片描述

模型创建

创建基于线性模型的分类模型（逻辑回归）
创建基于树的分类模型（决策树、随机森林）
查看模型的参数，并更改参数值，观察模型变化

为什么线性模型可以进行分类任务，背后是怎么的数学关系
答：因为线性模型即逻辑回归可以通过在一个线性函数上下进行两个类别的判别。

对于多分类问题，线性模型是怎么进行分类的
答：使用Softmax函数进行多分类。
在这里插入图片描述
在这里插入图片描述

输出模型预测结果

在这里插入图片描述
这样可以清楚哪个标签预测概率更高。

模型评估

交叉验证

在这里插入图片描述

混淆矩阵

在这里插入图片描述

ROC曲线

在这里插入图片描述
在这里插入图片描述

Bread Sir
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
模型建立和评估
m0_52893371的博客
06-24 302
前言：经过前面的两章的知识点的学习，我可以对数数据的本身进行处理，比如数据本身的增删查补，还可以做必要的清洗工作。那么下面我们就要开始使用我们前面处理好的数据了。这一章我们要做的就是使用数据，我们做数据分析的目的也就是，运用我们的数据以及结合我的业务来得到某些我们需要知道的结果。那么分析的第一步就是建模，搭建一个预测模型或者其他模型；我们从这个模型的到结果之后，我们要分析我的模型是不是足够的可靠，那我就需要评估这个模型。今天我们学习建模，下一节我们学习评估。 我们拥有的泰坦尼克号的数据集，那么我们这次的目
[DataWhale]动手学数据分析Task05：模型建立及评估
MaxQuYY的博客
07-22 208
主要学习Python数据可视化库Matplotlib；数据可视化可以更好的看到每一个关键步骤的结果如何，可以用来优化方案，是一个很有用的技巧。 # 加载所需的库 # 如果出现 ModuleNotFoundError: No module named 'xxxx' # 你只需要在终端/cmd下 pip install xxxx 即可 %matplotlib inline import numpy as np import pandas as pd import matplotlib.pyplot as p
动手学数据分析–Task05：数据建模及模型评估
qq_35098624的博客
08-26 300
动手学数据分析–Task05：数据建模及模型评估
datawhale课程[动手学数据分析]——Task05：模型搭建与评价
sd3145265的博客
08-27 506
目录第三章 模型搭建和评估--建模模型搭建任务一：切割训练集和测试集任务提示1任务二：模型创建提示任务三：输出模型预测结果提示3第三章 模型搭建和评估-评估模型评估任务一：交叉验证提示4思考4任务二：混淆矩阵提示5任务三：ROC曲线提示6思考6 第三章 模型搭建和评估–建模 经过前面的两章的知识点的学习，我可以对数数据的本身进行处理，比如数据本身的增删查补，还可以做必要的清洗工作。那么下面我们就要开始使用我们前面处理好的数据了。这一章我们要做的就是使用数据，我们做数据分析的目的也就是，运用我们的数据以及结合
动手学数据分析 Task05：数据建模及模型评估
RexT1的博客
08-28 367
文章目录动手学数据分析Task05：数据建模及模型评估一、重点与思考 动手学数据分析 本次跟随Datawhale组织的动手学数据分析组队学习，对数据分析继续加强学习，希望能有所收获。Datawhale是一个很好的开源组织，会组织很多优质、开源的系列学习。 附上本次组队学习的计划和教程资料，如果链接失效，可点击这里前往Datawhale官网自行查找，即使没有当时加入组队学习，有兴趣的话从现在开始学习也不晚哦~ 由于此次是需要有一些pandas基础，之前有做过pandas的脑图总结，有需要的同学可以点这里前往获
模型评估
CangHaier的博客
06-10 516
模型评估一、回归任务最常用的性能度量是 均方误差二、分类任务常用的性能度量指标1）错误率：分类错误的占总样本的比例   精度分类正确的占总样本的比例错误率+精度 =  1 2）查准率Precision——分类为正的样本中真正的正样本的比例查全率Recall——在所有正样本中被正确分为正样本的样本的比例3）P-R曲线——查准率与查全率关系曲线绘图方式：对学习器的概率结果排序，按照概率从大到小，逐个把...
Datawhale数据分析-建模与评估
weixin_46723764的博客
08-28 918
建模与评估一级目录二级目录三级目录模型建立1. 清洗数据2. 选择模型3. 分割数据集4. 模型创建5. 输出预测结果评估1. 目的2. 交叉验证3. 评价数据对于一些思考问题的想法1. 清洗前后数据的不同:2. 数据集哪些差异会导致模型在拟合数据是发生变化3. 什么情况下切割数据集的时候不用进行随机选取4. 为什么线性模型可以进行分类任务，背后是怎么的数学关系5. 对于多分类问题，线性模型是怎么进行分类的6. 预测标签的概率对我们有什么帮助 一级目录 二级目录 三级目录 模型建立 1. 清洗数据 由于最初
DataWhale 9月组队学习-动手学数据分析 task3_学习记录
weixin_46960109的博客
09-18 262
建模 数据分析我认为最重要的部分就是运用我们目前已有的数据建立模型，对未知的东西进行一个预测。当然数据本身也是非常重要的，所以需要前面的增删查补，对数据进行一个规整，以此可以训练出一个健壮的模型。 首先是导入包 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from IPython.display import Image 前面三个库是老朋友了，就不做过多的介绍了。
动手学数据分析 ：数据建模和评估Task05
qq_45186187的博客
06-23 331
1 建模建立和评估 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from IPython.display import Image %matplotlib inline plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签 plt.rcParams['axes.unicode_minus'] = Fa
Datawhale数据分析教程来了！
Datawhale
06-26 854
↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale开源贡献者：陈安东、金娟娟、杨佳达、老表开源初心当我入门数据分析时，用...
Datawhale零基础入门金融风控 Task4 建模与调参
weixin_33569641的博客
09-25 625
四、建模与调参 此部分为零基础入门金融风控的 Task4 建模调参部分，带你来了解各种模型以及模型的评价和调参策略，欢迎大家后续多多交流。 赛题：零基础入门数据挖掘 - 零基础入门金融风控之贷款违约预测 项目地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/FinancialRiskControl 比赛地址：https://tianchi.aliyun.com/competition/entrance/531
模型建立与评估
weixin_30614109的博客
06-23 168
一.基本概述 回归指标：均方误差 分类指标：准确率、召回率、精度、错误率 排序指标： 二、分类指标 （一）准确率、召回率、精度、错误率（二分类） 准确率/查准率（precision）: 是针对预测为正的样本来说的，指的是预测为正的样本中预测正确了的百分比。 TPTP+FP 召回率/查全率（recall）：是针对真实为正的所有样本来说的，指的是所有为正的样本...
模型的建立与评估
weixin_43595036的博客
09-23 726
模型的建立与评估 import pandas as pd import numpy as np import seaborn as sns import matplotlib.pyplot as plt %matplotlib inline plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签 plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号 plt.rcParams['figur
第三章 模型建立及评估
qq_45726627的博客
01-20 1030
目标：根据泰坦尼克号的数据集完成泰坦尼克号存活预测。 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from IPython.display import Image plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签 plt.rcParams['axes.unicode_minus'] = Fal
数据分析（五）模型建立与评估
xpwmiracle的博客
06-22 1249
完工
动手学数据分析第三章模型建立和评估--建模
L1315382539的博客
08-26 865
第三章 模型搭建和评估–建模 经过前面的两章的知识点的学习，我可以对数数据的本身进行处理，比如数据本身的增删查补，还可以做必要的清洗工作。那么下面我们就要开始使用我们前面处理好的数据了。这一章我们要做的就是使用数据，我们做数据分析的目的也就是，运用我们的数据以及结合我的业务来得到某些我们需要知道的结果。那么分析的第一步就是建模，搭建一个预测模型或者其他模型；我们从这个模型的到结果之后，我们要分析我的模型是不是足够的可靠，那我就需要评估这个模型。今天我们学习建模，下一节我们学习评估。 我们拥有的泰坦尼克号的数
动手学数据分析 | 模型建立与评估(五)
qq_40857571的博客
05-26 985
接上篇动手学数据分析 | 数据可视化(四)。 经过前面的学习，可以对数据本身进行增删查补、清理等处理，那么下面就要开始使用处理好的数据，数据分析的目的也就是运用数据以及结合业务来得到某些结果。分析的第一步就是建模，搭建一个预测模型或者其他模型；得到模型结果后，要分析模型是不是足够可靠，即进行模型评估。针对泰坦尼克号数据集，数据分析目的就是完成泰坦尼克号存活预测的任务。 目录 一、建立模型 1.切割训练集和测试集 2.模型创建 3.输出模型预测结果 二、模型评估 1.交叉验证 2.混淆矩阵.
动手学数据分析5-数据建模及模型评估
coldfish的博客
06-22 1085
数据建模及模型评估 数据分析的目的就是，运用数据结合业务来得到得到或评估我们需要知道的结果。经过前面的学习，我们学会了数据清洗，可视化等操作。下面我们来进行数据建模，搭建一个预测模型或者其他模型，从这个模型的到结果，我们还要分析模型是不是足够的可靠，也就是评估这个模型。 我们利用泰坦尼克号的数据集，来完成泰坦尼克号存活预测任务。 数据建模 # 读取原数据数集 train = pd.read_csv('train.csv') train.shape 我们利用前面数据清洗的方法对原始数据进行清洗 去除无用的
kaggle泰坦尼克数据之模型建立和评估
qq_36226141的博客
06-21 754
第三章 模型搭建和评估–建模 经过前面的两章的知识点的学习，我可以对数数据的本身进行处理，比如数据本身的增删查补，还可以做必要的清洗工作。那么下面我们就要开始使用我们前面处理好的数据了。这一章我们要做的就是使用数据，我们做数据分析的目的也就是，运用我们的数据以及结合我的业务来得到某些我们需要知道的结果。那么分析的第一步就是建模，搭建一个预测模型或者其他模型；我们从这个模型的到结果之后，我们要分析我的模型是不是足够的可靠，那我就需要评估这个模型。今天我们学习建模，下一节我们学习评估。 我们拥有的泰坦尼克号的数
数据挖掘Task2：深入EDA数据分析
"DataWhale数据挖掘学习任务2主要涵盖了数据加载、数据概况查看、缺失值、异常值和重复值的检测，以及预测值分布、数据特征分析等多个方面，旨在进行深入的数据探索分析(EDA)。这个任务适用于大数据和数据分析的学习...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值