动手学数据分析 Task05：数据建模及模型评估

最新推荐文章于 2023-01-20 14:12:07 发布
最新推荐文章于 2023-01-20 14:12:07 发布
阅读量382 收藏 1
点赞数 1
分类专栏： # 数据分析 文章标签： 机器学习 人工智能 数据分析 python 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45556599/article/details/108286750
版权

文章目录

动手学数据分析

本次跟随Datawhale组织的动手学数据分析组队学习，对数据分析继续加强学习，希望能有所收获。Datawhale是一个很好的开源组织，会组织很多优质、开源的系列学习。

附上本次组队学习的计划和教程资料，如果链接失效，可点击这里前往Datawhale官网自行查找，即使没有当时加入组队学习，有兴趣的话从现在开始学习也不晚哦~

由于此次是需要有一些pandas基础，之前有做过pandas的脑图总结，有需要的同学可以点这里前往获取。

现在学习喜欢用脑图的方式，知识点清晰明了，易于查找和复习，希望也可以帮助大家梳理知识脉络，同时欢迎补充。

Task05：数据建模及模型评估

在这里插入图片描述
链接：https://pan.baidu.com/s/1zXGkoiUBWp4Z7cQI0tMTYg
提取码：n4ze

一、重点与思考

筛选了一些比较重要的操作以及一些思考的回答：（部分答案在脑图中有）
【思考】

  • 划分数据集的方法有哪些？
    《数据集划分方法》
  • 分层抽样
    好处：样本的代表性比较好，抽样误差比较小。

【思考】

【思考】k折越多的情况下会带来什么样的影响？
k折越多，平均误差被视为泛化误差这个结果就越可靠，但相应的所花费的时间也是线性增长的。

【思考】什么是二分类问题的混淆矩阵，理解这个概念，知道它主要是运算到什么任务中的
《二分类评估，从混淆矩阵说起》

【思考】什么是OCR曲线，OCR曲线的存在是为了解决什么问题？
《机器学习之分类器性能指标之ROC曲线、AUC值》

【思考】对于多分类问题如何绘制ROC曲线
《多分类ROC曲线及AUC计算》

【思考】你能从这条OCR曲线的到什么信息？这些信息可以做什么？

  1. 一个ROC曲线完全”包住“另一个ROC曲线—>第一个学习器效果更好
  2. 两个ROC曲线相交—>利用ROC曲线下的面积（AUC，area under ROC curve，是一个数值)进行比较学习器的效果
RexT1
关注
专栏目录
kaggle泰坦尼克数据之数据重构
qq_36226141的博客
06-15 189
复习：在前面我们已经学习了Pandas基础，第二章我们开始进入数据分析的业务部分，在第二章第一节的内容中，我们学习了数据的清洗，这一部分十分重要，只有数据变得相对干净，我们之后对数据的分析才可以更有力。而这一节，我们要做的是数据重构，数据重构依旧属于数据理解（准备）的范围。 ...
第三章 模型搭建和评估--建模
T_RNA75的博客
08-24 715
复习 经过前面的两章的知识点的学习，我可以对数数据的本身进行处理，比如数据本身的增删查补，还可以做必要的清洗工作。那么下面我们就要开始使用我们前面处理好的数据了。这一章我们要做的就是使用数据，我们做数据分析的目的也就是，运用我们的数据以及结合我的业务来得到某些我们需要知道的结果。那么分析的第一步就是建模，搭建一个预测模型或者其他模型；我们从这个模型的到结果之后，我们要分析我的模型是不是足够的可靠，那我就需要评估这个模型。今天我们学习建模，下一节我们学习评估。 内容 导入库和一些预先的准备 import pa
动手学数据分析–Task05：数据建模及模型评估
qq_35098624的博客
08-26 339
动手学数据分析–Task05：数据建模及模型评估
动手学数据分析：简单数据重构
Rock_y的博客
08-23 1378
数据重构2 第二章：数据重构（上）2.4 数据的合并2.4.1 任务一：将data文件夹里面的所有数据都载入，与之前的原始数据相比，观察他们的之间的关系2.4.2：任务二：使用concat方法：将数据train-left-up.csv和train-right-up.csv横向合并为一张表，并保存这张表为result_up2.4.3 任务三：使用concat方法：将train-left-down和train-right-down横向合并为一张表，并保存这张表为result_down。然后将上边的result_
动手学数据分析1
liyong的博客
08-18 464
动手学数据分析1 全部参考 datawhale-动手学数据分析 1. 载入数据 1.1 导入numpy和pandas import pandas as pd import numpy as np print(pd.__version__) # 查看Pandas版本 1.0.3 1.2 读入数据 df = pd.read_csv('train.csv') # 相对路径载入数据 df = pd.read_csv('C:\\Users\\li\\Desktop\\动手学数据分析-组队学习版\\动手学数
[DataWhale]动手学数据分析Task05：模型建立及评估
MaxQuYY的博客
07-22 246
主要学习Python数据可视化库Matplotlib；数据可视化可以更好的看到每一个关键步骤的结果如何，可以用来优化方案，是一个很有用的技巧。 # 加载所需的库 # 如果出现 ModuleNotFoundError: No module named 'xxxx' # 你只需要在终端/cmd下 pip install xxxx 即可 %matplotlib inline import numpy as np import pandas as pd import matplotlib.pyplot as p
DW动手学数据分析Task5：数据建模及模型评估
最新发布
OohMuYi的博客
01-20 959
建模
动手学数据分析 ：数据建模和评估Task05
qq_45186187的博客
06-23 368
1 建模建立和评估 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from IPython.display import Image %matplotlib inline plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签 plt.rcParams['axes.unicode_minus'] = Fa
【数据分析入门】Task 05 数据建模及模型评估
一一xi的博客
08-27 993
【数据分析入门】Task 05 数据建模及模型评估第三章 模型搭建和评估3.1 模型搭建3.1.1 数据导入及介绍3.1.2 模型搭建3.1.2.1 概述3.1.2.2 sklearn的算法选择路径3.1.2.3划分训练集和测试集（1）train_test_split方法（2）ShuffleSplit方法3.1.2.4 模型创建（1）逻辑回归法（2）随机森林法3.1.3输出模型预测结果3.2 模型评估3.2.1 交叉验证3.2.2 混淆矩阵3.2.3 准确度、精确度、召回率和F1值3.2.4 ROC曲线3.
动手学数据分析-task05
prili的博客
07-23 153
模型建立和评估 前面做的都是对数据进行预处理，数据分析中最重要的一步是用处理过的数据进行建模，然后得到我们想要的结果，比如说预测或者是其他。 模型建立 模型建立这一步，常用的python库有： pandas：数据处理 numpy：数据处理 matplotlib：数据可视化 seaborn：数据可视化 image：数据可视化 首先模型的输入是清洗过后的数据，它在原始训练数据的基础上，对原始数据进行了筛选，避免了变量重复，并且对其中的某些变量进行了扩展，比如说pd.get_dummies()处理。 输入数据对
动手学数据分析
bu_shuo_zai_jian的博客
06-24 209
组队学习的历程——>day08 简单来说数据分析的目的就是：运用数据以及结合业务来得到结果。 那么经过前两天的学习历程，我们对数据分别进行了初步观察、探索性分析、数据清洗、数据重构以及数据可视化等。 接下来就是最为重要的两部分——数据建模以及模型评估，数据建模是对我们清洗后的数据集进行特征与特征之间的关系搭建模型，数据评估是对搭建好的模型进行评估 模型搭建和评估–建模 利用泰坦尼克号的数据集，这次的目的就是，完成泰坦尼克号存活预测这个任务。 导入相关库以及数据集 载入这些库，如果缺少某些库，请安装他们
动手学数据分析_task2
Ninjasone的博客
06-17 297
第一部分：数据清洗及特征处理 通常来说我们拿到的数据是不干净的，所谓的不干净就是数据中有缺失值，有一些异常点，需要经过一定的处理才能继续做后面的分析。所以拿到数据的第一步就是进行数据的清洗。本章将学习缺失值、字符串和数据转换等。 导入numpy、pandas库 import numpy as np import pandas as pd 加载数据 train_data = pd.read_csv('train.csv') train_data 2.1 缺失值观察与处理 拿到的数据有许多的缺失值，比如C
动手学数据分析-数据加载及探索性数据分析
weixin_45064713的博客
08-19 558
动手学数据分析-数据加载及探索性数据分析数据加载载入数据导入numpy和pandas包载入数据 数据加载 载入数据 数据集下载：Titanic: Machine Learning from Disaster 导入numpy和pandas包 import pandas as pd import numpy as np 载入数据 使用相对路径载入数据 df = pd.read_csv("train.csv") df.head() 相对路径载入报错时，可以使用os.getcwd()查看当前工作目录 im
动手学数据分析简单总结
DDxuexi的博客
06-15 241
之前关于数据分析的学习是用到什么查阅什么,没有系统的学习过,最近通过这个机会,再复习下关于之前学过的数据分析的一些知识,并完善一些数据分析的方法.最近一系列的数据分析的内容来源于DataWhale开源.涉及到的数据集等可从github(https://github.com/datawhalechina/hands-on-data-analysis)上获取到. 该文档简单记录了每个小节学习了什么知识点，详细内容整理在了各个标题的链接上面(就是对开源文档进行了填空并记录了一些自己的小测试) 动手学数据分析_.
动手学数据分析_task01
Ninjasone的博客
06-16 434
动手学数据分析 ​ 通过动手学数据分析这门课程来了解数据分析的基本流程以及python的基本使用。 第一部分 数据载入以及初步观察 1.1加载数据 数据集下载地址：https://www.kaggle.com/c/titanic/overview 1.1.1导入numpy和pandas import numpy as np import pandas as pd 提示：如果导入第三方库失败，可能python编译器中没有安装该第三方库，通过pip或者conda进行安装，如果出现时间超时等情况，可以通过镜像进
动手学数据分析—pandas
liyong的博客
08-19 343
动手学数据分析—pandas 全部参考 datawhale-动手学数据分析 开始前导入numpy和pandas import numpy as np import pandas as pd print(pd.__version__) 1.0.3 1. pandas数据结构 Series：一种类似于一维数组的对象，它是由一组数据（各种Numpy数据类型） 以及一组与之相关的数据标签（即索引）组成。仅由一组数据即可产生简单的 Series DataFrame：一个表格型的数据结构，含有一组有序的列，每
Datawhale分组学习—动手学数据分析（一）
weixin_48410013的博客
06-14 364
笔者是第一次尝试采用线上分组学习的形式，感谢Datawhale的开源学习平台。本次动手学数据分析的任务就是完成kaggle上泰坦尼克号的task，从数据载入到数据清洗，最后到数据建模分析，完成整个数据分析的步骤。第一章是完成数据载入及使用函数来进行简单的数据观察。......
datawhale课程[动手学数据分析]——Task05：模型搭建与评价
sd3145265的博客
08-27 532
目录第三章 模型搭建和评估--建模模型搭建任务一：切割训练集和测试集任务提示1任务二：模型创建提示任务三：输出模型预测结果提示3第三章 模型搭建和评估-评估模型评估任务一：交叉验证提示4思考4任务二：混淆矩阵提示5任务三：ROC曲线提示6思考6 第三章 模型搭建和评估–建模 经过前面的两章的知识点的学习，我可以对数数据的本身进行处理，比如数据本身的增删查补，还可以做必要的清洗工作。那么下面我们就要开始使用我们前面处理好的数据了。这一章我们要做的就是使用数据，我们做数据分析的目的也就是，运用我们的数据以及结合
《动手学数据分析》开源教程完整发布！
Datawhale
09-01 449
↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货作者：陈安东，湖南大学，Datawhale成员1. 开源初衷对于...
使用机器学习解密Wordle：时间序列分析与模型优化
"这篇文档是2023年美国大学生数学建模竞赛（MCM/ICM）的优秀论文，具体研究的是C题——利用机器学习和时间序列...同时，它也为其他领域的问题解决提供了一个优秀的案例，即如何通过数据分析和建模来深入理解复杂现象。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值