怎样用python进行数据清洗？(下)

已于 2022-08-16 14:27:31 修改
阅读量1.8k 收藏 25
点赞数 1
分类专栏： python 文章标签： python 数据分析
于 2020-06-20 23:18:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wusheng9922/article/details/106878900
版权
本文通过某招聘网站的数据，详细介绍了如何使用Python进行数据清洗，包括去除公司地点的中括号，更改字段名，拆分公司要求为薪资、经验要求和学历要求，拆分公司级别，删除不需要的字段，并最终导出清洗后的CSV文件。
摘要由CSDN通过智能技术生成

微信 wusheng9922 欢迎交流!
这里我们用某招聘网的案例来 过一遍用python进行数据清洗的流程。接（1）

10 去掉公司地点的中括号

定义一个函数 来去掉记录两端的符号 再传入 .map函数中去，再赋值给原来的公司地点。

def strip_gsdd(x):
    return x.strip('[]')
df.公司地点.map(strip_gsdd)
df['公司地点']=df.公司地点.map(strip_gsdd)

在这里插入图片描述
在这里插入图片描述

11 把字段名工位要求改为公司要求

在这里插入图片描述

df.rename(columns={
   '工位要求':'公司要求'},inplace=True)
最低0.47元/天 解锁文章
吴生数据分析
关注
专栏目录
Python 数据清洗
ww08153115的博客
07-09 928
文章目录1. 查看数据1.1. 数据抽样1.2. 数据形状1.3. 数据整体情况2. 缺失值处理2.1. 统计缺失值判断缺失统计缺失2.2. 删除缺失值删除方法按行删除按列删除2.3. 填补缺失值填补方法固定值填补上下值填补3. 数据类型处理修改数据类型格式正确 基于第三方库Numpy及Pandas 进行数据清洗 1. 查看数据 查看数据数据抽样整体概况字段解读数据形状判断数据规模 1.1. 数据抽样 查看前n条数据 : data.head(n) 默认前5条 查看后n条数据: data.tail(n) 默
python数据清洗
zhangt766的博客
02-05 1590
1.处理缺失值 string_data=pd.Series(['aardvark','artichoke',np.nan,'avocado']) string_data.isnull() NA 处理方法 dropna 过滤na fillna 填充na，比如ffill，bfill isnull 返回表明哪些值是缺失值的布尔值 notnull isnull的反函数 1.1过滤缺失值 data=pd.DataFrame([[1.,6.5,3.],[1.,NA,N
python数据清洗实例_python 数据的清理行为实例详解
weixin_39624705的博客
11-21 278
python 数据的清理行为实例详解数据清洗主要是指填充缺失数据，消除噪声数据等操作，主要还是通过分析“脏数据”产生的原因和存在形式，利用现有的数据挖掘手段去清洗“脏数据”，然后转化为满足数据质量要求或者是应用要求的数据。1、try 语句还有另外一个可选的子句，它定义了无论在任何情况下都会执行的清理行为。例如:>>>try:raiseKeyboardInterruptfinally:print('...
一行Python代码实现数据清洗的18种方法
m0_62283350的博客
07-29 1025
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后这里免费分享给大家一份Python全套学习资料，希望能给想学习 Python 的小伙伴们一点帮助！编程资料、学习路线图、源代码、软件安装包等！文末免费领取① Python所有方向的学习路线图，清楚各个方向要学什么东西② 100多节Python课程视频，涵盖必备基础、爬虫和数据分析③ 100多个Python实战案例，学习不再是只会理论④ 华为出品独家Python漫画教程，手机也能学习。
python微博数据清洗过滤微博数据处理
04-20
# 过滤文本中的html链接等 # 提取微博中的话题名称#和人名@ # 分词 #去除停用词 # 表情处理
使用 Python 进行数据清洗的完整指南
码农黑羽的博客
03-28 4106
你一定听说过这句著名的数据科学名言： 在数据科学项目中， 80% 的时间是在做数据处理。 如果你没有听过，那么请记住：数据清洗是数据科学工作流程的基础。 机器学习模型会根据你提供的数据执行，混乱的数据会导致性能下降甚至错误的结果，而干净的数据是良好模型性能的先决条件。 当然干净的数据并不意味着一直都有好的性能，模型的正确选择（剩余 20%）也很重要，但是没有干净的数据，即使是再强大的模型也无法达到预期的水平。 在本文中将列出数据清洗中需要解决的问题并展示可能的解决方案，通过本文可以了解如何逐步进行数据
Python pandas 数据清洗 基础教程
01-15
Python pandas 数据清洗基础教程 Python pandas 是一个非常流行的数据处理库，它提供了许多强大的功能来处理和分析数据。在数据处理过程中，数据清洗是一个非常重要的步骤，它可以帮助我们将原始数据转换为可以用于...
简单数据清洗python代码
05-30
简单试水……
Python的数据清洗
2401_84760161的博客
06-09 1745
数据重复会导致数据的方差变小，使数据分布发生较大变化。数据缺失会导致样本信息减少，在分析过程中，数据存在缺失值不仅会增加数据分析的难度，而且会导致数据分析的结果产生偏差。数据分析过程中存在异常值则会造成数据“伪回归”。因此需要对数据进行检测，查询是否存在重复值、缺失值和异常值，并对数据进行适当的处理。
Python数据清洗
ttx10225的博客
01-02 2395
数据清洗是指对原始数据进行筛选、过滤和清理，以去除不必要的数据、修复错误数据、填补缺失值等。数据清洗可以采用各种方法，包括使用正则表达式、删除无用数据列、去重、替换异常值等。其中，缺失值是数据清洗中最常见的问题，可以使用中位数、平均数、众数或者插值法来填充缺失值。当我们进行数据分析和建模时，首先要面对的问题之一就是数据清洗。数据清洗是指对原始数据进行筛选、过滤和修复，以确保数据的质量和准确性。以下将介绍数据清洗的重要性，并结合Python代码详细讲解常用的数据清洗方法。
干货：用Python进行数据清洗，这7种方法你一定要掌握
热门推荐
大数据
11-27 3万+
导读：数据清洗是数据分析的必备环节，在进行分析过程中，会有很多不符合分析要求的数据，例如重复、错误、缺失、异常类数据。作者：常国珍、赵仁乾、张秋剑本文摘编自《Python...
数据清洗--python
blue_lll的博客
06-20 348
数据清洗–python 1.1引言 对于处理大数据问题，首先就是要进行数据预处理，排除掉那些那些很离谱的数据，当然我们肯定不能一个一个用眼睛来找（容易累死），所以我们就要学会如何用程序来进行数据的预处理，我们常常用两种语言：matlab和python，这里我先介绍一下用python进行数据清洗。 1.2准备 首先去官网安装python ，然后打开你的控制台，在里面输入 pip install nu...
如何使用Python进行数据分析？
最新发布
08-08
3. **数据清洗**：检查和处理缺失值、异常值、重复项等，保证数据质量。 4. **探索性数据分析（EDA）**：使用Pandas提供的函数对数据进行初步统计描述，例如`head()`, `describe()`, 或者绘制直方图、箱线图等。 5...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值