python基础笔记（六）_数据清洗及建模

最新推荐文章于 2024-08-24 10:20:29 发布
最新推荐文章于 2024-08-24 10:20:29 发布
阅读量1.1k 收藏 9
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/flizhn/article/details/107457906
版权
本文详细介绍了Python数据清洗和建模的过程，包括数据特征分析的分布、对比、统计和帕累托分析，以及正太性检验。此外，还探讨了如何处理缺失值和异常值，数据的归一化和离散化。最后，文章涵盖了线性回归、KNN分类、PCA主成分分析和K-means聚类等数学建模方法。
摘要由CSDN通过智能技术生成

数据特征分析

分布分析

  • 研究数据的分布特征和分布类型
  • 定量数据
    • 极差 ： max - min
    • 通过直方图直接判断分组组数
      • 简单查看数据分布，确定分布组数
      • 一般8-16即可
    • 求出分组区间
      • pd.cut(x, bins, right)
      • 按照组数对x分组，且返回一个和x同样长度的分组dataframe
      • right:是否包含右边,默认为True
      • 通过groupby查看不同组的数据频率分布
    • 求出目标字段下频率分布的其他统计量 → 频数，频率，累计频率
    • 绘制频率直方图、饼图
  • 定性数据
    • 绘制频率直方图；根据不可用数据描述的特征，例如朝向
    • 通过计数统计判断不同类别的频率

对比分析

  • 两个互相联系的指标进行比较
  • 绝对数比较（相减）
    • 相互对比的指标在量级上不能差别过大
    • 折线图比较
    • 多系列柱状图比较
    • 柱状图堆叠图+差值折线图比较
  • 相对数比较（相除）
    • 有联系的指标综合计算后的对比，数值为相对数
    • 结构分析
      • 各组总量指标与总体的总量指标对比，计算出各组数量在总量中所占比重
      • 反映总体的内部结构
    • 比例分析
      • 将总体不同部分的指标数值进行对比，其相对指标一般称为“比例相对数”
      • 比例相对数 = 总体中某一部分数值 / 总体中另一部分数值
    • 空间比较分析（横向对比分析）
      • 同类现象在同一时间不同空间的指标数值进行对比，反应同类现象在不同空间上的差异程度和现象发展不平衡的状况
      • 空间比较相对数 = 甲空间某一现象的数值 / 乙空间同类现象的数值
    • 动态对比分析（纵向对比分析）
      • 同一现象在不同时间上的指标数值进行对比，反应现象的数量随着时间推移而发展变动的程度及趋势
      • 最基本方法，计算动态相对数 → 发展速度
      • 动态相对数（发展速度） = 某一现象的报告期数值 / 同一现象的基期数值
      • 基期：用来比较的基础时期
      • 报告期：所要研究的时期，又称计算期

统计分析

  • 统计指标对定量数据进行统计描述
  • 集中趋势度量
    • 指一组数据向某一中心靠拢的倾向，核心在于寻找数据的代表值或中心值
    • 算数平均数
      • 简单算术平均值：总和 / 样本数量 （不涉及权重）
      • 加权算术平均值：(x1f1 + x2f2 + ... + xnfn) / (f1 + f2 + ... + fn)
    • 位置平均数
      • 众数 ： 出现次数最多的数
      • 中位数 ： 排序后处于中间的数
  • 离中趋势度量
    • 指一组数据中各数据以不同程度的距离偏离中心的趋势
    • 极差：最大值 - 最小值
    • 分位差：data['75%'] - data['25%']
    • 方差：各组中数值与算数平均数离差平方的算术平均数
    • 标准差
      • 方差的平方根
      • 标准差越大，离中趋势越明显
      • 最常用的离中趋势指标

帕累托分析

  • 贡献度分析
  • 帕累托法则：20/80定律
  • 客观存在的无法解释的不平衡
  • 多数，造成少许的影响
  • 少数，造成主要的、重大的影响
  • 分析步骤：
    • 1.根据值从大到小排列，绘制柱状图
    • 2.创建累计占比cumsum，
    • 3.找到累计占比超过80%时候的index和索引位置
    • 4.绘制累计占比曲线（y副坐标轴）
    • 5.突出显示累
最低0.47元/天 解锁文章
FlizhN
关注
专栏目录
python数据清洗笔记
sinat_41942988的博客
02-11 729
1. 函数 pd.melt()、pd.merge()、.pivot_table()、pd.to_numeric()、pd.reset_index()、pd.concat()、.astype()、.info()、.get().str.contains()、.dropna() 、.to_csv()、.groupby()、.plot()、.all().all()、glob.glob()、.dropn...
大数据分析--数据清洗和准备
10-09
在数据分析和建模的过程中，相当多的时间要用在数据准备上：加载、清理理、转换以及重塑。这些工作会占到分析师时间的80%或更更多。
大数据算法模型中的数据清洗
神芷迦蓝寺
08-16 1万+
大数据的背景下，数据处理占了极大的份额，就像一个西红柿做成西红柿炒鸡蛋，需要经过调料整合，菜料清洗，饭菜加工等等才能发布到生产，不，发送到餐桌，毕竟直接干吃西红柿会脏乱有毒，口味不佳，顾客会认为贵餐厅很low 这里简单分享一下我对数据清洗的理解，数据清洗占了很重要的地位，不然面对着脏乱差的西红柿炒鸡蛋，没人愿意下口。 一份未经清洗过的数据一般会存在这些不符合分析要求的问题：重复，错误，空值，异...
数学建模之数据分析【九】：数据清理总结
最新发布
lmx1458070445的博客
08-24 1484
数据清理是机器学习 (ML)流程中的关键步骤，因为它涉及识别和删除任何缺失、重复或不相关的数据。数据清理的目标是确保数据准确、一致且无错误，因为不正确或不一致的数据会对 ML 模型的性能产生负面影响。专业数据科学家通常会将大量时间投入到这一步骤中，因为他们相信“更好的数据胜过更复杂的算法”。数据清理，也称为数据清洗或数据预处理，是数据科学流程中的关键步骤，涉及识别和纠正或消除数据中的错误、不一致和不准确性，以提高其质量和可用性。
线下模型的数据清洗建模
haramshen的博客
09-20 2088
一、清洗流程： 目的：为离线训练准备标注数据，清洗不合法的数据。 数据源我们采用：曝光、点击、下单 1.序列化 曝光、点击、下单从Hive表中读取，采用schema可以直接根据日志名字来读取字段在家或减少的影响； 曝光日志：存储了用户一次行为的详细信息，包括：包括城市、地理位置、筛选条件及一些行为特征；点击日志主要记录了用户点击的POIID、点击时间；下单日志
数学建模---华为杯---对大量文件进行数据清洗
qq_40077565的博客
10-22 9035
文章目录1、前言2、题目描述3、具体分析4、解决方法5、代码（C语言）5.1、核心思想6、最后 1、前言  本科的时候还没参加过数模比赛，还是等到读研的时候才参加的，研一的时候本着锻炼的目的参加了一次中青杯，一次数维杯，一次数模省赛，由于省赛拿了个二等，因此有机会在研二有了第一次参加数模国赛的经历。不得不说，ABCDEF题都挺难的，第一天上午初略的浏览了一遍题目，发现E题的超宽带定位问题挺适合我们（通信专业），不过做到后面发现挺难的。由于记错截止时间了（华为杯的时间段很多，一不注意就容易搞错），因此最后一天
python核心笔记_python核心笔记_python_
09-29
Python是一种广泛使用的高级...这本《Python核心笔记》详细介绍了Python的基础知识，适合数据分析初学者系统学习。通过阅读和实践，你可以逐步建立起对Python编程的理解，并为后续深入学习数据分析打下坚实基础。加油！
Python学习笔记7——数据清洗之多表合并
12-20
数据清洗中的多表合并是数据分析的基础操作，熟练掌握这些方法能极大地提高工作效率。在实际工作中，我们可能需要结合实际情况灵活运用这些合并方式，例如通过条件筛选合并、处理缺失值后再合并等。同时，理解合并后...
python数据清洗基础二
qq_43893755的博客
03-29 498
一、简单数据处理 我们拿到一个数据表，先看看它的列名 df.columns 取值 col = df.columns.values col 我们有的时候需要直接取列名的索引，可是由上面的数据显示，有的有空格有的没有，当数据太多的时候我们不可能面面俱到，因此，我们需要统一去掉空格！去掉空格用strip()函数，但它一次只能处理一个函数，要想处理多个，用循环解决； col[0].strip() #strip函数一次只能处理一个数据 [x.strip() for x in col] #strip去除
python1903笔记 18_AI_project.zip
03-09
总的来说，"python1903笔记 18_AI_project.zip"很可能是针对初学者或有一定基础的学习者，提供了从数据处理到模型训练的全链条实践，有助于提升对Python在AI领域的应用能力。通过这个项目，学习者将有机会亲自动手，...
【数学建模竞赛】数据预处理知识总结1——数据清洗
caojunjia的博客
09-05 4125
它是由相邻数据点决定的多项式组成的，这些多项式在连接点处连续，并且可以通过改变函数的形式来适应不同的数据点分布。在数学建模赛题中，官方给所有参赛选手的数据可能受到主观或客观条件的影响有一定的问题，如果不进行数据的处理而直接使用的话可能对最终的结果造成一定的影响，因此为了保证数据的真实性和建模结果的可靠性，需要在建模之前对数据进行相关的预处理工作！总结起来，数据预处理是对原始数据进行清洗、转换和整理的过程，包括数据清理、数据集成、数据变换和数据规约。：数据清理是指处理数据中的错误、缺失值和异常值。
数据分析07-数据清洗、矩阵、数学建模
yegeli的博客
06-30 2396
数据分析-07数据分析-07扩展：数据清洗检测与处理重复值检测与处理缺失值检测与处理异常值矩阵1. 矩阵对象的创建2. 矩阵的乘法运算3. 矩阵的逆矩阵4. ndarray提供的矩阵API5. 矩阵应用数学建模1. 线性模型线性拟合2. 多项式模型3. 基于函数矢量化的股票回测模型 数据分析-07 扩展：数据清洗 检测与处理重复值 pandas提供了一个名为drop_duplicates的去重方法。该方法只对DataFrame或者Series类型有效。这种方法不会改变数据原始排列，并且兼具代码简洁和运行稳定
关于数据清洗的步骤及方法的理解
热门推荐
zjjcchina的博客
12-02 1万+
数据清洗， 是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间。国外有些学术机构会专门研究如何做数据清洗，相关的书籍也不少。 我将在这篇文章中，尝试非常浅层次的梳理一下数据清洗过程，供各位参考。 照例，先上图： 预处理阶段 预处理阶段主要做两件事情： 一是将数据导入处理工具。通常来说，建议使用数据库，单机跑数搭建MySQL环境即可。如果数据量大（千万级以上），可以使用文本文件存储+Python操作的.
9.19学习笔记（数据清洗、建模）
weixin_43621813的博客
09-19 284
数据清洗完整代码 import re #加载正则表达式库 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns from sklearn import preprocessing from sklearn import model_selection from skl...
Python3数据分析与挖掘建模（14）特征工程、数据清洗、特征预处理
喜欢历史的码农
06-13 2683
数据清洗是特征工程中的一个重要步骤，涉及到数据样本抽样和异常值处理。下面对这两个方面进行详细说明：（1）数据样本抽样：- 数据样本抽样是从整体数据集中选择一个代表性子集的过程。常见的数据样本抽样方法包括随机抽样、分层抽样和集群抽样等。- 抽样的目的是减少数据量，加快模型训练和评估的速度，同时保持样本的代表性，以避免样本偏差对模型性能的影响。- 在数据样本抽样过程中，需要考虑抽样方法的合理性和适用性，确保抽样后的样本能够准确地代表整体数据集。
K-Means聚类算法实践（基于Python实现）
CCH²¹的博客
11-14 3680
目录K-Means聚类算法原理数据集数据预处理数据清洗属性规约数据变换K-Means算法实现对数据集进行聚类、可视化以及分析参考文献 K-Means聚类算法原理 给定样本集 D={x1,x2,…,xm}D=\{\bm x_{1},\bm x_{2},\ldots,\bm x_m\}D={x1​,x2​,…,xm​}，K-Means算法针对聚类所得簇划分 C={C1,C2,…,Ck}C=\{C_1,C_2,\ldots,C_k\}C={C1​,C2​,…,Ck​} 最小化平方误差 E=∑i=1k∑x∈Ci∣∣
Python数据分析学习系列 七 数据清洗和准备
pidzhengding的博客
06-08 932
资料转自（GitHub地址）：https://github.com/wesm/pydata-book 有需要的朋友可以自行去github下载 在数据分析和建模的过程中，相当多的时间要用在数据准备上：加载、清理、转换以及重塑。这些工作会占到分析师时间的80%或更多。有时，存储在文件和数据库中的数据的格式不适合某个特定的任务。许多研究者都选择使用通用编程语言（如Python、Perl、R或Java）或UNIX文本处理工具（如sed或awk）对数据格式进行专门处理。幸运的是，pandas和内置的Python标准
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值