零基础入门数据挖掘-Task1 赛题理解

最新推荐文章于 2021-08-24 23:00:22 发布
最新推荐文章于 2021-08-24 23:00:22 发布
阅读量178 收藏
点赞数
分类专栏： Datawhale Team Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Zee_Chao/article/details/105045931
版权

1. 赛题介绍

赛题：零基础入门数据挖掘 - 二手车交易价格预测

地址：https://tianchi.aliyun.com/competition/entrance/231784/introduction?spm=5176.12281957.1004.1.38b02448ausjSX

比赛要求参赛选手根据给定的数据集，建立模型，最终预测二手汽车的交易价格。

2. 数据介绍

数据来自Ebay Kleinanzeigen报废的二手车，数量超过 370,000，包含 20 列变量信息，为了保证 比赛的公平性，将会从中抽取 10 万条作为训练集，5 万条作为测试集 A，5 万条作为测试集 B。同时会对名称、车辆类型、变速箱、model、燃油类型、品牌、公里数、价格等信息进行脱敏。

name - 汽车编码

regDate - 汽车注册时间

model - 车型编码

brand - 品牌

bodyType - 车身类型

fuelType - 燃油类型

gearbox - 变速箱

power - 汽车功率

kilometer - 汽车行驶公里

notRepairedDamage - 汽车有尚未修复的损坏

regionCode - 看车地区编码

seller - 销售方

offerType - 报价类型

creatDate - 广告发布时间

price - 汽车价格

v_0', 'v_1', 'v_2', 'v_3', 'v_4', 'v_5', 'v_6', 'v_7', 'v_8', 'v_9', 'v_10', 'v_11', 'v_12', 'v_13','v_14'（根据汽车的评论、标签等大量信息得到的embedding向量）

数字全都脱敏处理，都为数字形式。

3. 预测指标

M A E=\frac{\sum_{i=1}^{n}\left|y_{i}-\hat{y}_{i}\right|}{n}

Zee_Chao
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
零基础入门数据挖掘-Task3 特征工程
01-20
1. 学习内容 2. 导入相关模块和数据 3. 判别异常值 3.1 什么是异常值 3.2 常见的异常值判别方法 3.2.1 简单统计分析 3.2.2 3σ原则 3.2.3 箱型图 3.3 异常值处理方法 3.4 异常值处理实现（箱型图+删除异常值） 4. ...
Datawhale零基础入门NLP赛事数据集-数据集
03-26
包含训练集和测试集
阿里天池-零基础入门NLP - 新闻文本分类
07-04
阿里天池-零基础入门NLP - 新闻文本分类
数据挖掘竞赛Task5.rar
03-29
数据挖掘竞赛源码及数据集
django-simple-task：Django 3的简单后台任务
02-04
Django简单任务 django-simple-task在Django 3中运行后台任务，而无需其他服务和工作程序。 它在与ASGI应用程序相同的事件循环中运行它们。 作为像Celery这样的适当任务执行程序，它没有弹性，但可以处理一些简单的...
零基础入门数据挖掘-Task4 建模调参
Zee_Chao的博客
04-01 848
目录 1. 学习内容 2. 准备工作 3. 用线性回归简单建模 3.1 用简单线性回归建模 3.2 查看效果并做相应的调整 3.3 K-折交叉验证 3.4 模拟真实的业务情况 3.5绘制学习率曲线和验证曲线 4. 多模型对比 4.1 预处理 4.2线性模型与嵌入式特征选择 4.3 非线性模型 5. 模型调参（以LGB模型为例） 5.1 贪心调参 5.2 网格调参 ...
集成学习-Task3 投票法与Bagging
Zee_Chao的博客
08-22 570
1.基于投票法的集成学习 1.1投票与机器学习 投票简单来说就是“少数服从多数”，那么这个道理跟机器学习有什么关系呢？ 我们知道集成学习简单来说就是用多个不同的模型来处理同一个问题，那么对于多个不同的处理结果我们应该如何选取呢？ 对于一个分类问题来说，如果我们用多个不同的模型来预测，可能会得到多个不同的结果。显然，这里我们就可以用少数服从多数的投票法来决定。我们可以直接将投票结果中出现次数最多的类别当作预测结果，这种投票方法叫硬投票。我们还可以将预...
pandas组队学习-Task3 分组方法groupby()和它的小伙伴们
Zee_Chao的博客
04-26 553
目录 1.学习内容 2.什么是SAC过程 3.准备工作 4.groupby()方法 4.1一般用法 4.1.1按某一列分组 4.1.2按多列分组 4.1.3查看每一组的容量和分成的组数 4.1.4遍历每一组 4.1.5level参数和axis参数 4.2groupby对象的特点 4.2.1可用的方法 4.2.2head()方法和firtst()方...
pandas组队学习-Task2 pandas的各种索引操作
Zee_Chao的博客
04-23 549
1.学习内容 1.了解pandas支持的各种索引操作 2.了解pandas对索引的设置 3.了解pandas的索引函数 4.利用pandas的索引操作对数据进行处理和抽样 本项目参见https://github.com/datawhalechina/team-learning/tree/master/Pandas%E6%95%99%E7%A8%8B%EF%BC%88%E4%B8...
自然语言处理实践（新闻文本分类）-Task2 数据分析
Zee_Chao的博客
07-22 543
1.准备工作 import pandas as pd import numpy as np import matplotlib.pyplot as plt from collections import Counter df = pd.read_csv(r'./data/train_set.csv', sep = '\t') print(df.head()) label text 0 2 .
pandas组队学习-Task1 pandas的基本操作
Zee_Chao的博客
04-20 495
1.学习内容 1.了解如何用pandas保存和读取不同文件类型的数据 2.了解如何使用pandas的两个基本数据结构及其操作 本项目参见https://github.com/datawhalechina/team-learning/tree/master/Pandas%E6%95%99%E7%A8%8B%EF%BC%88%E4%B8%8A%EF%BC%89 2.准备工作 首先，需...
自然语言处理实践（新闻文本分类）-Task3 简单词向量+机器学习算法
Zee_Chao的博客
07-25 488
目录 1.学习内容 2.构建词向量并将处理好的数据保存 2.1准备工作 2.2词袋向量 2.3 TFIDF向量 3.将不同的词向量应用到不同的机器学习分类算法上 3.1逻辑回归 3.1.1词袋+逻辑回归 3.1.2 TFIDF+逻辑回归 3.2岭回归分类 3.2.1词袋+岭回归 3.2.2 TFIDF+岭回归 3.3朴素贝叶斯分类 3.3.1词袋+朴素贝叶斯 3.3.2 TFIDF+朴素贝叶斯 3.4 SVM 3.4.1词袋+SVM 3.4.2 T...
零基础入门数据挖掘-Task2 数据分析
Zee_Chao的博客
03-24 473
1. 学习内容 1. 载入各种数据科学及可视化库 2. 载入数据 3. 数据总览 4. 判断和处理缺失值与异常值 5. 了解预测值分布 6. 了解特征值分布 7. 特征分析（包括类别特征和数字特征） 8. 生成数据报告 2. 载入数据库 ...
pandas组队学习-Task5 表格的新增行列、数据填充与表格合并
Zee_Chao的博客
04-30 446
1.学习内容 1.学会如何对已有的表格新增行和列以及如何将不同的表格合并 2.学会如何用其他表格的数据来对当前表格进行填充 2.准备工作 import numpy as np import pandas as pd df = pd.read_csv('data/table.csv') print(df.head()) School Class ID Gender ...
pandas组队学习-Task6 缺失值处理
Zee_Chao的博客
06-23 438
目录 1.学习内容 2.准备工作 3.发现缺失值并统计缺失值的情况 3.1观察具体位置上是否出现缺失值 3.2缺失值的统计 3.3缺失值数据的筛选与过滤 3.3.1找出某列缺失值所在的行数据 3.3.2找出所有值都非缺失的行数据 3.4缺失值符号介绍 3.4.1旧体系的符号 3.4.2新体系的数据类型和符号 3.5convert_dtypes()方法 4.缺失数据的运算与分组 4.1运算 4.2分组（groupby） 5.缺失值的填充与删除 ...
集成学习-Task4 Boosting
Zee_Chao的博客
08-24 375
1. Bagging与Boosting的联系与区别 Bagging思想的本质是：通过bootstrap的方式对全样本数据集做有放回抽样得到多个子集，在不同的子集上训练不同的弱分类器，最后通过投票的方式决定最终预测结果。这些弱分类器都倾向于过拟合并且Bagging会通过降低方差的方式减少预测误差。 Boosting则是采取另一种思想：使用全样本数据集训练一系列弱分类器，然后将这些弱分类器组合形成一个预测性能更好的分类器。这些弱分类器都倾向于欠拟合并且Boosting会通过降...
自然语言处理实践（新闻文本分类）-Task1 赛题理解
Zee_Chao的博客
07-21 357
1.赛题介绍 赛题：Datawhale零基础入门NLP赛事 地址：https://tianchi.aliyun.com/competition/entrance/531810/introduction?spm=5176.12281973.1005.1.3dd52448NqFj16 赛题以自然语言处理为背景，要求选手根据新闻文本字符对新闻的类别进行分类，这是一个经典文本分类问题。通过这道赛题可以引导大家走入自然语言处理的世界，带大家接触NLP的预处理、模型构建和模型训练等知识点。 2. 数据介绍 .
pandas组队学习-Task7 文本数据（string类型）处理
Zee_Chao的博客
06-26 355
1.学习内容 1.了解string类型与object类型的区别 2.学会string类型的各种处理方式 本项目参见https://github.com/datawhalechina/team-learning/tree/master/Pandas%E6%95%99%E7%A8%8B%EF%BC%88%E4%B8%8A%EF%BC%89 2.准备工作 import pandas as pd import numpy as np 3.string类型的性质与转换 3.1string类...
零基础入门数据挖掘 - 二手车交易价格预测
最新发布
08-24
零基础入门数据挖掘 - 二手车交易价格预测是一个任务，旨在预测二手车的交易价格。数据集来自某交易平台的二手车交易记录，总数据量超过40w，包含31列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值