Task 04 - 浅谈数据分析的准备过程

最新推荐文章于 2024-07-29 10:48:09 发布
最新推荐文章于 2024-07-29 10:48:09 发布
阅读量297 收藏 1
点赞数 6
文章标签： python 数据可视化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37759382/article/details/108610635
版权

Task 04 - 从0完成一个数据分析实战

欢迎来到缪斯的博客

在这里插入图片描述

数据集探索

数据探索通常包括数据集的收集下载及数据集描述

数据集下载

一般我们可以到一些开源的网站去寻找我们需要的数据集，不同的算法类型或者业务类型会有不同的数据集网站。
比如汉字识别的会有汉字的数据集，人脸图像的会有人脸的数据集网站···

数据集描述

一般的方法为通过dataframe的方式
使用 df.head()及df.columns及df.info() 查看源数据的数据概览
使用 .isnull()及.nonull() 配合除法探索数据空值的比例
使用sort_values及group_by查看关注的属性的信息

数据清洗

对于数据的空缺值和噪声值（奇异值）需要进行数据清洗。
对于没有数学解释意义的变量我们需要对其进行转化处理
转化成有数学表达意义的数据，即根据数据集各个属性的特点进行特征构建
这样不仅有利于我们分析这些特征与我们的预测变量直接的关系
还有助于助于提升数据的精度，使原始数据有更好的解释性
进而使我们的预测模型有更好的效果

特征工程

数据工程通常包括数据特征构建，特征提取及特征选择

特征构建是指从原始数据中人工的找出一些具有物理意义的特征。需要观察原始数据，思考问题的潜在形式和数据结构。
除此之外，属性分割和结合是特征构建时常使用的方法。结构性的表格数据，可以尝试组合二个、三个不同的属性构造新的特征，如果存在时间相关属性，可以划出不同的时间窗口，得到同一属性在不同时间下的特征值，也可以把一个属性分解或切分，例如将数据中的日期字段按照星期几和节假日去构建特征。

特征提取与特征选择的目的均为从原始特征中找出最有效的特征。
两者都能帮助减少特征的维度并且降低数据冗余，特征提取有时还能帮助我们发现潜在的更加有价值的特征属性。
当然，它们之间也有一定的区别，特征提取强调的是通过特征转换的方式得到一组具有明显物理或统计意义的特征。
而特征选择是从特征集合中挑选一组具有明显物理或统计意义的特征子集。

衡量变量之间的线性关系时，我们通常使用**皮尔森相关系数（Pearson Correlation）**进行辅助判断帮助我们进行特征选择。

数据可视化

数据可视化是一种将技术与艺术完美结合，通过借助图形化的手段有效地以易于向读者传达信息的表现形式（如折线图，热力图等）的方法。
数据可视化可以增加数据的灵性，帮助我们从信息中提取更加有效的信息、从中发现数据间的关系。数据可视化的意义在于帮助我们更好的分析数据，信息的质量很大程度上取决于它的表达方式，对数字罗列所组成的数据中所包含的意义进行分析，使分析结果可视化。
这样看来，数据可视化的本质就是视觉对话。它能更好的与我们数据处理分析人员进行沟通。

Task 03 - 从函数到高级魔法方法 - 类与对象

Task 01 - 部分学习内容解析与补充 Python基础入门：从变量到异常处理（第三天）

Task 01 - 部分学习内容解析与补充 Python基础入门：从变量到异常处理（第一二天）

Task 02 - 部分学习内容解析与补充 Python基础练习：数据结构大汇总（第一天）

END😁

望批评指正

原创不易 如果认为对你学习有帮助

欢迎收藏❤帮我点个赞👍谢谢你哦❤

未经同意不准转载^ . ^

缪斯mius
关注
  • 6
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
零基础入门数据挖掘-二手车交易价格预测（Day3建模调参）
12-21
目录减少数据在内存中占用的空间线性回归 & 五折交叉验证 & 模拟真实业务情况简单建模五折交叉验证事实上,五折交叉验证在某些与时间相关的数据集上反而反映了不真实的情况绘制学习率曲线与验证曲线嵌入式特征选择 – 大部分情况下都是用嵌入式做特征选择# 我们看下三种模型的效果对比:线性回归; 加入了L1的Lasso回归; 加入了L2的岭回归 减少数据在内存中占用的空间 def reduce_mem_usage(df): """ iterate through all the columns of a dataframe and modify the data type to
【数据挖掘竞赛】零基础入门数据挖掘-二手汽车价格预测
m0_51933492的博客
11-01 8884
数据预处理时首先可以对偏度比较大的数据用log1p函数进行转化，使其更加服从高斯分布，此步处理可能会使我们后续的分类结果得到一个好的结果.notRepairedDamage 中存在空缺值，但空缺值用“-”表示，所以数据查看发现不了空缺值，将“-”替换成NaN。图中可以看出，seller,offerType,creatDate这几个特征值分布不均匀，分别查看。可以看出，seller,offerType这两个特征的取值无变化，几乎倒向同一个值，可以删除。一般来说汽车价格与使用时间成反比。
数据挖掘入门项目二手交易车价格预测之数据分析
David_house的博客
03-02 1737
数据探索有利于我们发现数据的一些特性，数据之间的关联性，对于后续的特征构建是很有帮助的。对于数据的初步分析（直接查看数据，或.sum(), .mean()，.descirbe()等统计函数）可以从：样本数量，训练集数量，是否有时间特征，是否是时许问题，特征所表示的含义（非匿名特征），特征类型（字符类似，int，float，time），特征的缺失情况（注意缺失的在数据中的表现形式，有些是空的有些是”NAN”符号等），特征的均值方差情况。
零基础入门数据挖掘——二手车交易价格预测：baseline
FavoriteStar的博客
12-03 8717
本文是对阿里云天池竞赛——零基础入门数据挖掘之二手车交易价格预测的学习记录，是一个很简单的baseline。
零基础入门数据挖掘 - 二手车交易价格预测
最新发布
2301_80264808的博客
07-29 225
赛题以预测二手车的交易价格为任务，数据集报名后可见并可下载，该数据来自某交易平台的二手车交易记录，总数据量超过40w，包含31列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取15万条作为训练集，5万条作为测试集A，5万条作为测试集B，同时会对name、model、brand和regionCode等信息进行脱敏。导入了若干常用的Python库，这些库主要用于数据处理、模型构建、可视化及评估。
数据分析入门task5
qq_29120119的博客
12-23 1514
本记录为本人参加datawhale数据分析（泰坦尼克号任务项目）学习笔记，不足之处多多指教。 经过前面的两章的知识点的学习，我可以对数数据的本身进行处理，比如数据本身的增删查补，还可以做必要的清洗工作。那么下面我们就要开始使用我们前面处理好的数据了。这一章我们要做的就是使用数据，我们做数据分析的目的也就是，运用我们的数据以及结合我的业务来得到某些我们需要知道的结果。那么分析的第一步就是建模，搭建一个预测模型或者其他模型；我们从这个模型的到结果之后，我们要分析我的模型是不是足够的可靠，那我就需要评估这个模型。
Task 2 数据分析
iajin的博客
09-18 314
目的： 1.EDA价值主要在于熟悉了解整个数据集的基本情况（缺失值，异常值），对数据集进行验证是否可以进行接下来的机器学习或者深度学习建模. 2.了解变量间的相互关系、变量与预测值之间的存在关系。 3.为特征工程做准备 2.2 内容介绍 1、数据总体了解： 1）读取数据集并了解数据集大小，原始特征维度； 2）通过info熟悉数据类型； 3）粗略查看数据集中各特征基本统计量； 2、缺失值和唯一值： 1）查看数据缺失值情况 2）查看唯一值特征情况 3、深入数据-查看数据类型 1）类别型数据 2）数值型数据 ①
MSD医学图像数据集，Task02-Heart和Task04-Hippocampus
05-08
Task02-Heart和Task04-Hippocampus是该数据集中两个不同的任务，涉及心脏和海马体的图像分割。 Task02-Heart专注于心脏的图像分割，涵盖了多个切片和不同成像模态，如MRI（磁共振成像）和CT（计算机断层扫描）。这...
task02-数据分析.md
03-25
天池比赛——二手车价格预测数据分析文档 熟悉数据 查看缺失值情况 分析数据类型及分布 分析数据间相关性
SemEval-2016 Task 5中文部分数据集
11-30
总的来说，SemEval-2016 Task 5的中文部分数据集为我们提供了一个宝贵的资源，用于训练和测试细粒度情感分析模型。通过对XML数据的预处理和深度学习等技术的应用，我们可以进一步提升中文文本情感分析的性能，服务于...
20200401零基础入门数据挖掘 – 二手车交易价格预测笔记（4）
12-21
四、建模与调参 4.1 线性回归模型： 线性回归对于特征的要求； 处理长尾分布； 理解线性回归模型； 4.2 模型性能验证： 评价函数与目标函数； 交叉验证方法； 留一验证方法； 针对时间序列问题的验证； 绘制学习率曲线； 绘制验证曲线； 4.3 嵌入式特征选择： Lasso回归； Ridge回归； 决策树； 4.4 模型对比： 常用线性模型； 常用非线性模型； 4.5 模型调参： 贪心调参方法； 网格调参方法； 贝叶斯调参方法； 下面节选一些我学习比较多的地方进行记录： 4.1.1 线性回归 建立线性模型 from sklearn.linear_model import LinearRegr
数据挖掘实战–二手车交易价格预测（二）数据探索性分析（EDA）
12-21
包的安装： 采用Anaconda 3进行代码的编译，Anaconda 3里基础的数据分析包都已经准备好，我们需要安装的就是sklearn，lightgbm和xgboost包。 Anaconda可以支持我们采取多种方式安装所需要的包。可以采用pip,conda和从PYPI下载相关包等方式。这里采用的是pip方式。 pip install scikit-learn pip install lightgbm pip install xgboost 因为之前一直在进行Arcpy的开发工作，因此我电脑里装配的是Anaconda 2 32位，这在安装lightgbm和xgboost的过程中遇到了错误。因
二手车交易价格预测学习笔记 — Task5
12-21
赛题：零基础入门数据挖掘 – 二手车交易价格预测 地址：https://tianchi.aliyun.com/competition/entrance/231784/introduction?spm=5176.12281957.1004.1.38b02448ausjSX 模型融合 常用方法 from sklearn.datasets import make_blobs #聚类数据生成 from sklearn import datasets #提供数据集 from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble
A题-超市销售数据分析1
08-04
【数据分析在超市销售中的应用】 随着新零售业的快速发展，消费者购物习惯发生了显著变化，超市行业面临着更为激烈的市场竞争。为了在利润空间不断压缩的环境中保持竞争力，超市需要利用数据分析技术，从海量的经营...
tasf-task04-socialdistancedetection
04-10
tasf-task04-socialdistancedetection 这是我作为The Sparks Foundation的计算机视觉和IoT实习生的第四项任务，在此任务中，我必须实施一个社交距离违规检测系统，该系统在我作为自学项目之前已经实施，我的方法...
数据挖掘入门项目二手交易车价格预测之建模调参
David_house的博客
04-06 1964
上述我们主要通过log转换正则化模型选择参数微调等方法来提高预测的精度最后附上一些学习链接供大家参考：线性回归模型：https://zhuanlan.zhihu.com/p/49480391决策树模型：https://zhuanlan.zhihu.com/p/65304798GBDT模型：https://zhuanlan.zhihu.com/p/45145899XGBoost模型：https://zhuanlan.zhihu.com/p/86816771。
数据挖掘-二手车价格预测 Task03：特征工程
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-17 615
一、特征工程理论： 常见的特征工程包括： 异常处理： 通过箱线图（或 3-Sigma）分析删除异常值； BOX-COX 转换（处理有偏分布）； 长尾截断；特征归一化/标准化： 标准化（转换为标准正态分布）； 归一化（抓换到 [0,1] 区间）； 针对幂律分布，可以采用公式： log(1+x1+median)log(\frac{1+x}{1+median})log(1+median1+x)数据分桶： 等频分桶； 等距分桶； Best-KS 分桶（类似利用基尼指数进行二分类）； 卡方分桶；缺失值处理：
零基础数据挖掘入门-二手车价格预测
weixin_43702053的博客
03-28 403
零基础数据挖掘入门-二手车价格预测part（二）：特征工程 文章目录零基础数据挖掘入门-二手车价格预测part（二）：特征工程一、特征工程概述二、特征构建三、特征提取四、特征选择五、总结 一、特征工程概述 “数据决定了机器学习的上限，而算法只是尽可能逼近这个上限”，这里的数据指的就是经过特征工程得到的数据。特征工程指的是把原始数据转变为模型的训练数据的过程，它的目的就是获取更好的训练数据特征，使...
数据分析案例-二手车价格预测
m0_64336780的博客
05-09 6968
目录 数据获取 加载数据 数据预处理 数据分析 特征工程 建模 数据获取 我们利用scrapy爬虫框架对58同城上海二手车数据进行抓取，部分数据如下： 加载数据 #数据分析及可视化的包 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns %matplotlib inline #通过pandas读取数据，以便进一步分析 dataset ...
浅谈mysql的存储引擎
09-02
- *2* [浅谈MySQL存储引擎选择 InnoDB与MyISAM的优缺点分析](https://download.csdn.net/download/weixin_38655484/12834006)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值