【python】筛选出异常数据排除，满满干货指导

最新推荐文章于 2024-05-04 11:24:03 发布
最新推荐文章于 2024-05-04 11:24:03 发布
阅读量620 收藏 9
点赞数 20
分类专栏： 2024年程序员学习 文章标签： python 服务器 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60388216/article/details/137243833
版权
文章讲述了如何使用Python脚本对含有姓名、部门、年月和工作内容的Excel数据进行处理，包括按姓名和年月合并重复项、统计特定月份数据并保存为不同文件。作者分享了数据预处理和筛选的方法，强调了代码调试的重要性。
摘要由CSDN通过智能技术生成

3、以“姓名”中相同名字对应的年月进行拼接，并统计数量，并保存1.xlsx。

4、读1.xlsx，将列“Merged_年_月”中相同姓名所对应包含12月和10月的年份进行求合并， 并去掉年份。保存为2.xlsx。把统计的次数去掉保存为3.xlsx。

//一言不合就另存为。

数据模板：

姓名部门年月当月完成工作
刘一采购部2022年1月完成修炼科目1
刘一采购部2022年2月完成修炼科目2
刘一采购部2022年3月完成修炼科目3
刘一采购部2022年4月完成修炼科目4
刘一采购部2022年5月完成修炼科目5
刘一采购部2022年6月完成修炼科目6
刘一采购部2022年7月完成修炼科目7
刘一采购部2022年8月完成修炼科目8
刘一采购部2023年9月完成修炼科目7
刘一采购部2023年10月完成修炼科目8
刘一采购部2023年11月完成修炼科目9
刘一采购部2023年12月完成修炼科目10
刘一采购部2023年9月完成修炼科目11
刘一采购部2023年10月完成修炼科目12
刘一采购部2024年11月完成修炼科目13
刘一采购部2024年12月完成修炼科目14
刘一采购部2024年9月完成修炼科目15
刘一采购部2024年10月完成修炼科目16
刘一采购部2024年11月完成修炼科目17
刘一采购部2024年12月888完成修炼科目20
刘一采购部2024年9月完成修炼科目21
杨二销售部2022年10月完成修炼科目1
杨二销售部2022年11月完成修炼科目2
杨二销售部2022年12月出差
杨二销售部2022年9月完成修炼科目4
杨二销售部2022年10月完成修炼科目5
杨二销售部2022年11月完成修炼科目6
杨二销售部2022年12月完成修炼科目7
杨二销售部2022年9月完成修炼科目8
杨二销售部2022年10月完成修炼科目8
杨二销售部2022年11月完成修炼科目9
杨二销售部2022年12月888完成修炼科目10
杨二销售部2022年9月完成修炼科目11
杨二销售部2022年10月完成修炼科目12
杨二销售部2022年11月完成修炼科目13
杨二销售部2023年12月完成修炼科目14
杨二销售部2023年9月出差
杨二销售部2023年10月完成修炼科目16
杨二销售部2023年11月完成修炼科目17
杨二销售部2023年12月888完成修炼科目19
刘三财务部2024年9月完成修炼科目20
刘三财务部2024年10月完成修炼科目1
刘三财务部2022年11月完成修炼科目3
刘三财务部2022年12月888完成修炼科目4
刘三财务部2022年9月完成修炼科目5
刘三财务部2022年10月完成修炼科目6
刘三财务部2022年11月完成修炼科目7
刘三财务部2022年12月完成修炼科目8
刘三财务部2022年9月完成修炼科目7
刘三财务部2022年10月完成修炼科目8
刘三财务部2022年11月完成修炼科目10
刘三财务部2022年12月完成修炼科目11
刘三财务部2022年9月完成修炼科目12
刘三财务部2022年10月完成修炼科目13
刘三财务部2022年11月完成修炼科目14
刘三财务部2022年12月完成修炼科目15
刘三财务部2022年9月出差
刘三财务部2023年10月完成修炼科目17
刘三财务部2023年11月完成修炼科目19
刘三财务部2023年12月完成修炼科目20
刘三财务部2023年9月完成修炼科目2
刘三财务部2023年10月完成修炼科目3
刘三财务部2023年11月完成修炼科目4
刘三财务部2024年12月完成修炼科目5
刘三财务部2022年9月完成修炼科目6
刘三财务部2022年10月完成修炼科目7
刘三财务部2022年11月完成修炼科目8
刘三财务部2023年12月完成修炼科目10
刘三财务部2023年9月完成修炼科目11
刘三财务部2023年10月完成修炼科目12
刘三财务部2023年11月完成修炼科目13
刘三财务部2023年12月完成修炼科目15
刘三财务部2023年9月完成修炼科目16
刘三财务部2024年10月完成修炼科目17
刘三财务部2022年11月完成修炼科目19
刘三财务部2022年12月完成修炼科目20
刘三财务部2022年9月完成修炼科目1
刘三财务部2023年10月完成修炼科目2
刘三财务部2023年11月完成修炼科目3
刘三财务部2023年12月完成修炼科目4
刘三财务部2023年9月完成修炼科目5
刘三财务部2023年10月完成修炼科目6
刘三财务部2023年11月完成修炼科目7
刘三财务部2024年12月完成修炼科目8
刘三财务部2022年9月完成修炼科目7
刘三财务部2022年10月完成修炼科目8
刘三财务部2022年11月完成修炼科目9
刘三财务部2023年12月完成修炼科目10
刘三财务部2023年9月完成修炼科目11
刘三财务部2023年10月完成修炼科目12
刘三财务部2023年11月完成修炼科目13
刘三财务部2023年12月完成修炼科目14

输出结果展示

1.xlsx

2.xlsx

3.xlsx

想筛选自己想要的数据就得多加筛选条件，具体放在什么位置得看情况，主打就是一个变通。

还得一步一步的调试。

代码如下：


import pandas as pd
import re

def rename_on_keywords(text, keywords):
    for keyword in keywords:


**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。**
![img](https://img-blog.csdnimg.cn/img_convert/e2d7107bdbff9cdbf023c988151d242c.png)
![img](https://img-blog.csdnimg.cn/img_convert/4649f0d875c486ef0837b688e4ce5222.png)
![](https://img-blog.csdnimg.cn/img_convert/46506ae54be168b93cf63939786134ca.png)
![](https://img-blog.csdnimg.cn/img_convert/252731a671c1fb70aad5355a2c5eeff0.png)
![](https://img-blog.csdnimg.cn/img_convert/6c361282296f86381401c05e862fe4e9.png) 
![](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）**
![img](https://img-blog.csdnimg.cn/img_convert/a8d9dc8ec3bfcce26a8f8d150f3ec9d3.png)



**一、Python所有方向的学习路线**

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

![img](https://img-blog.csdnimg.cn/1d40facda2b84990b8e1743f5487d455.png)  
![img](https://img-blog.csdnimg.cn/0fc11d4a31bd431dbf124f67f1749046.png)

**二、Python必备开发工具**

工具都帮大家整理好了，安装就可直接上手！![img](https://img-blog.csdnimg.cn/ff266f529c6a46c4bc28e5f895dec647.gif#pic_center)

**三、最新Python学习笔记**

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

![img](https://img-blog.csdnimg.cn/6d414e9f494742db8bcc3fa312200539.png)

**四、Python视频合集**

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

![img](https://img-blog.csdnimg.cn/a806d9b941c645858c61d161aec43789.png)

**五、实战案例**

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。![img](https://img-blog.csdnimg.cn/a353983317b14d3c8856824a0d6186c1.png)

**六、面试宝典**

![在这里插入图片描述](https://img-blog.csdnimg.cn/97c454a3e5b4439b8600b50011cc8fe4.png)

![在这里插入图片描述](https://img-blog.csdnimg.cn/111f5462e7df433b981dc2430bb9ad39.png)

###### **简历模板**![在这里插入图片描述](https://img-blog.csdnimg.cn/646863996ac44da8af500c049bb72fbd.png#pic_center)


50011cc8fe4.png)

![在这里插入图片描述](https://img-blog.csdnimg.cn/111f5462e7df433b981dc2430bb9ad39.png)

###### **简历模板**![在这里插入图片描述](https://img-blog.csdnimg.cn/646863996ac44da8af500c049bb72fbd.png#pic_center)
前端小仙子
关注
专栏目录
剔除数据中的异常值（python实现）
知识搬运者
09-19 2137
3σ原则，又叫拉依达原则，它是指假设一组检测数据中只含有随机误差，需要对其进行计算得到标准偏差，按一定概率确定一个区间，对于超过这个区间的误差，就不属于随机误差而是粗大误差，需要将含有该误差的数据进行剔除。其局限性：仅局限于对正态或近似正态分布的样本数据处理，它是以测量次数充分大为前提（样本>10），当测量次数少的情形用准则剔除粗大误差是不够可靠的。一般可以认为，数据Y的取值几乎全部集中在（μ-3σ,μ+3σ)区间内，超出这个范围的可能性仅占不到0.3%，这些超出该范围的数据可以认为是异常值。
Python筛选异常值
weixin_51443598的博客
01-10 2203
# -*- coding:utf-8 -*- """ 作者：sunli 日期：2022年01月04日 """ # 导入第三方模块 import matplotlib import pandas as pd import matplotlib.pyplot as plt import numpy as np from scipy import stats # % matplotlib inline # 创建数据 from scipy.interpolate import lagrange fdata1 =.
python之去除异常值和缺失值的插值
Word_gebei的博客
01-22 4624
1.使用箱型法去除异常值： import numpy as np import pandas as pd import matplotlib as plt import os data = pd.read_excel('try.xls', header=0) # print(data.shape) # print(data.head(10)) # print(data.describe()) neg_list = ['位移'] print("（1）数据的行数为：") R = data.shape[0] pr
Python机器学习中的异常数据剔除
最新发布
PythonWeb实践
05-04 889
在机器学习中，异常数据可能会对模型的训练和预测产生负面影响。为了提高模型的性能，我们需要在数据预处理阶段剔除异常数据。
python中去除异常值_在Python中获取异常值
weixin_39737233的博客
12-04 1857
如果我有那个代码：try:some_method()except Exception, e:如何获得此Exception值(字符串代表我的意思)？使用strtry:some_method()except Exception as e:s = str(e)此外，大多数异常类都具有args属性。通常，args[0]将是错误消息。应该注意的是，如果没有错误消息，只使用str将返回空字符串，而使用repr...
python如何删除数据中含有“.0.01“的异常数据
机器学习、深度学习、强化学习、迁移学习
08-13 1008
本文主要讲解：使用python删除数据中含有".0.01"的异常数据
数据分析思维扫盲
热门推荐
weixin_43320465的博客
01-14 1万+
知识来源：接地气学堂1 前言 行文之初衷，建立知识树，因而不易速读，请君悉知。宜为工具书，按索引取之。独学而无友，必孤陋寡闻，请君赐教，不吝感激。循序图之， 数据分析介绍前言一、基本认识1. 数据分析定义2. 需求层的工作概述3.数据层工作概述4.分析层工作概述5.输出层工作概述7.技术与能力其他概念数据赋能数据产品二.数据分析可以解决问题类型：1.“是多少”问题的解决思路2.“是什么”问题的解决方法3.“为什么”问题的解决方法4.“会怎样”问题的解决方法5.属于“怎么做”的方法总结三.数据分析思路如何
技术实践干货 | 初探大规模 GBDT 训练
AI+BI,大数据分析,数据可视化,商业智能,数据驾驶舱 - 观远数据
07-27 863
本文是此前评估在 Spark 上做大规模 GBDT 训练时写的一篇入门级教程与框架评估。目前市面上似乎没有多少使用 Spark 来跑 GBDT 的分享，故分享出来看看是否有做过类似场景的同学可以一道交流。
2万字软件测试面试题干货带答案，反手我就一个收藏
m0_57290404的博客
06-14 1707
需求分析、编写测试用例、评审测试用例、搭建环境、等待程序开发包、部署程序开发包、冒烟测试、执行具体的测试用例细节、Bug 跟踪处理回归测试、N 轮之后满足需求，测试结束第一类标准：测试超过了预定时间，则停止测试。第二类标准：执行了所有的测试用例，但并没有发现故障，则停止测试。第三类标准：使用特定的测试用例设计方案作为判断测试停止的基础第四类标准：正面指出停止测试的具体要求，即停止测试的标准可定义为查出某一预订数目的故障。第五类标准：根据单位时间内查出故障的数量决定是否停止测试1) 应当把“尽早地和不断地进行
我的数据分析秋招经历和学习心得【万字长文】
weixin_42847656的博客
04-26 870
刚刚签掉三方，秋招算是告一段落了。 很早就想写一篇文章了，给明年秋招的同学，以及准备进入数据分析领域的朋友，以期能给你们带来一些小小的帮助。 写这篇文章的主要原因一个就是想做个劝退，另一个是系统地给非专业的同学做一个数据分析求职指南。 首先介绍下我自己的情况，双非渣硕，非相关专业（本电子信息，硕电子与通信），0相关实习，转行时间极短（准确地说是今年4月中旬转的数据分析），可以说是叠满了debuff。 秋招情况：投递：167家，笔试：70+家，面试：15家，offer：5家 目前手上的offer有点杂，啥行业
总结了200道经典的机器学习面试题（附参考答案）
small-guo
07-01 7564
刷题，是面试前的必备环节。本文总结了往年BAT机器学习面试题，干货满满，值得收藏。想要入职大厂可谓是千军万马过独木桥。为了通过层层考验，刷题肯定是必不可少的。本文根据网络在线发布的BAT机器学习面试1000题系列，整理了一份面试刷题宝典。1.请简要介绍下SVM。SVM，全称是support vector machine，中文名叫支持向量机。SVM是一个面向数据的分类算法，它的目标是为确定一个分类超平面，从而将不同的数据分隔开。扩展：支持向量机学习方法包括构建由简至繁的模型：线性可分支持向量机、线性支持向量机
chatgpt赋能python：Python数据处理-如何清除异常数据
虚幻私塾
06-17 1056
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。
chatgpt赋能python：Python剔除列表异常值的方法
「 虚幻私塾」
06-03 533
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。
chatgpt赋能python：Python数据清洗：如何剔除异常值
「 虚幻私塾」
06-03 1481
在数据集中，异常值是指与其他值显著不同的数据点。异常值可以由多种因素引起，如数据输入错误、传感器故障、数据处理问题等。异常值可能影响数据集的统计分析结果，因此，需要将其去除。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。
python过滤数据
duzhongduzhong的博客
06-27 1507
import xlrd from collections import defaultdict def read(file, sheet_index=0): """ :param file: 文件路径 :param sheet_index: 读取的工作表索引 :return: 二维数组 """ workbook = xlrd.open_workbo...
利用Python做数据分析中的异常处理
birdflyinhigh的博客
10-05 3278
写在前面的： 本文用到的数据：http://www.evernote.com/l/AnzL68lV2tBPUKvrI7TmuERGir07Si-ZX9Q/ 学习python和数据分析推荐地方： www.lynda.com   获取lynda官网会员的方式：get_lynda_com() --------------------------------------------
python学习笔记4.1_检测和过滤异常值
weixin_45866907的博客
08-26 130
python学习笔记4.1_检测和过滤异常值
Python数据清洗-异常值处理
no matter,try again
08-12 3337
一组测定值中与平均值的偏差超过两倍标准差的测定值判别为异常值，异常值的出现往往会影响数据整体的趋势，但其出现可以帮助我们发现业务过程中的一些漏洞和特殊情况，含有特别的商业信息和价值。最终我们将分数维度的异常值处理干净。...
python拟合曲线 处理剔除异常值_数据处理-利用 python进行异常值分析
weixin_39786617的博客
01-31 4303
异常值分析是检验数据是否有录入错误数据和不合常理的数据。不加剔除的把异常值代入数据分析过程中，会对结果产生不良影响，而对异常值的分析其原因，常常成为为发现问题的而改进决策的契机。异常值是指样本中的个别值，其数值明显偏离其余的数据。异常值通常也称为离群点，所以异常值分析也叫做离群点分析。异常值分析通常有以下几种：(1)简单统计量分析最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出了合理...
Python数据清洗：缺失值与异常值处理实战
最后，它筛选出那些不在异常值范围内的记录。 5。数据预处理总结 数据清洗是数据分析的前期准备，包括处理缺失值和异常值，目的是提高数据质量和模型的预测能力。在Python中，我们可以利用pandas库的强大功能进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值