数据处理时踩坑总结【持续更新版】

已于 2022-05-02 16:53:20 修改
阅读量1k 收藏 3
点赞数 1
分类专栏： 或许VIS Doc? 文章标签： python
于 2022-04-26 22:09:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44654498/article/details/124438300
版权
这篇博客总结了在数据处理过程中遇到的一些问题及其解决办法，包括在DataFrame的iterrows迭代中无法直接修改源数据，不推荐在循环中使用append和drop函数，如何处理长hash值的字典匹配，以及在Anaconda环境下使用pip安装模块的技巧，还有如何将文件夹上传到服务器端的Jupyter环境。
摘要由CSDN通过智能技术生成

DataFrame的iterrows迭代中无法直接修改源数据

在iterrows中，尝试使用index和row对DataFrame类型的变量直接进行更改，但是输出时发现值没有改变

这是因为使用row[‘列名’]修改的值是临时的，不是对原数据直接修改

解决方案：在修改语句的末尾添加：

df.iloc[index] = row

通过该种方式将row修改后的临时值传回，确保原数据的改动

尽量不要在循环中使用DataFrame的append函数和drop函数

在处理数据的时候如果直接在循环里面用append和drop就会越来越慢

可以先创建一个list把返回值或者需要处理的index先存起来，然后再统一使用一次df.append或者df.drop

delete_index = []
delete.append(
最低0.47元/天 解锁文章
Narcissus`小暮
关注
专栏目录
异常值处理 - iterrows()对 DataFrame 进行遍历，并修改遍历中的异常值 - Python代码
黄饱饱
01-18 1万+
先要有一个很简单的被命名为 data 的表： 第三列是一个名曰周杰伦的人历年来每个月的月薪，其中2016年月薪10万，纵观他历年来的月薪基本不超过3万（显然他不是我的偶像胖伦），因此对于这个人来说月薪10万是有些异常的。 有些人可能会说，这不简单？直接：【 data[monthly_pay] [data[monthly_pay] >= 10] = null 】就好了啊，可是你忘记了...
史上最全springboot配置，踩坑，注解，使用手册（持续更新中）
jsbintask的博客
02-15 1372
springboot 春节在家长了几斤肉，今天开始减肥了（工作了）。19年的第一篇文章，本篇文章将覆盖springboot所有配置（本人实际工作中所遇到问题以及学习总结），后续将会持续更新！话不多说，直接开始。 详细配置 注意：本演示全部基于springboot最新版本，现在是**2.1.2.RELEASE**，并且所有配置将全部使用yaml格式！ 如何配置springboot监听端口？ 通...
pandas日常使用笔记：iterrows(）、mode()需要注意的东西
谁谓荼苦，其甘如荠
09-28 1万+
1.iterrows()、iteritems():此方法用于对DataFrame进行行或者列的迭代获取 经过此方法所得到的DataFrame行或者列，你永远都不要去对它进行改动。因为迭代所得只是这个数据对象的复制本，你对它进行何种改动都无济于事 2.mode():此方法用于获得该列“众数”，即本特征下取值最多的那个特征值（因而可能不止一个结果） 如果你想用mode()函数的计算结...
DataFrame的iterrows迭代修改不了值
weixin_44412468的博客
12-15 6045
前几天在做决策树预测股票涨跌的小项目，里面要对DataFrame类型的变量进行迭代修改，我用的是iterrows的index和row 但是！测试了好久的代码，df的值始终没变化，一丁点都没有！ 直到后来有篇帖子点到 row[" "]修改的值是临时的，不是对原数据直接修改！ 这点很重要，就像C语言里传个整型参给函数（不是指针系列的），不论函数对它怎么修改，return后，这个变量的值压根不会改动 回到python ，所以只要在修改语句的末尾添加： results.iloc[index] = row #-
python Dataframe iloc时一直报out-of-bounds 和 根据行索引取Dataframe的多行值
doubi1的博客
12-12 1万+
今天在用pandas时候遇到了Dataframe的iloc一直报out-of-bounds这个错，这个简单理解就是越界了。 1.普通情况 举个简单的例子： import pandas as pd dataset=[[1,2.222,3,4,5],[2,None,None,None,5],[None,None,3,4,None],[1,2.5661,3,4,5.234]] df=pd.DataFrame(dataset) # 删除df中的一行 print("--------原始的df--------")
Python pandas 将字典dict转化为DataFrame时需避免的坑
weixin_39925939的博客
12-10 4068
Python pandas 将字典dict转化为DataFrame时需避免的坑一，字典的value都是scalar，既都只有一个值二，字典的value长度不相同时 先上结论： 如果想将字典dict转化为只有一行的DataFrame，但字典中的值又存在数组等长度大于一的情况，可以先使用pd.Series()，再使用to_frame将Series转化为DataFrame，最后转置DataFrame。可避免一些坑。 以下是详细阐述。 一，字典的value都是scalar，既都只有一个值 有这样一个字典 d = {
Python关于Pandas的iterrows、itertuples等遍历表格时读取不到第一行的问题
qq_42016346的博客
05-20 2631
是用来遍历 Pandas DataFrame 的方法，它会把 DataFrame 中的每一行转换成一个元组，其中第一个元素是行号，第二个元素是该行的数据。可以看到，就是DataFrame在转换时把表格第一行当成了列名，所以我们下意识想遍历表格所以内容时就无法读取到表格的第一行。遍历 DataFrame 的时候发现表格第二行被当成了第0行，这是。如果本文哪里有误随时可以提出了，收到会尽快更正的。在读取表格的时候指定header为None。
Jenkins迁移梳理及踩坑总结(个人精华版)
05-31
- 如果旧服务器上的Jenkins版本较新，可能需要先对数据进行升级处理。 #### 服务迁移 - 在新服务器上启动Jenkins服务，并确保以正确的用户身份运行。 - 验证新服务器上的Jenkins安装和数据是否正常工作。 - 更新...
数据处理踩过的坑1
comesuh的博客
05-09 157
list_position_name=['网络工程师', '网络工程师', '884-软件测试工程师', '测试工程师', '软硬件测试工程师', '测试工程师','网络工程师', '软件测试', '软件测试（常州）'] list_price_positoin_address = [] for i in list_position_name: address_index = [x for x in range(len(.
Spark SQL踩坑经验总结及调优分享
weixin_52672149的博客
08-03 616
写在之前： 本篇文章写就时间较早，因此本文所讨论的Spark SQL非最新版本，后续更新版本可能有部分修复和更新。 一、Spark内存泄露 1.高并发情况下的内存泄露的具体表现 首先得很遗憾的告诉各位，Spark在设计之初的架构就不是为了高并发请求而生的，我们尝试在网络条件不好的集群下，进行100并发的查询，在压测3天后发现了内存泄露。 在进行大量小SQL的压测过程中发现，有大量的activejob在spark ui上一直处于pending状态，且永远不结束，如下图所示： 并且发现driver内存爆满：
数据处理笔记
m0_56192771的博客
03-17 1733
1.利用read_csv读取txt文档 例1：原始数据是txt文档，格式如下所示： # 导入必备工具包 import pandas as pd from sklearn.model_selection import train_test_split #这里第二个参数sep="\t"表示分隔符为"\t", #获取数据内容。pandas.read_csv(“data.csv”)默认情况下，会把数据内容的第一行默认为字段名标题。添加“header=None”，告诉函数，我们读取的原始文件数据没有列索引。因此
对DataFrame中的值进行修改失败的踩坑记录
weixin_46169869的博客
12-14 718
2.使用iloc和loc修改时必须要将行列信息都放在中括号里面，不能将列单独写在一个中括号里面否则也只能取数不能修改。
解决pandas无法在循环中批量修改
yin2567588841的博客
10-21 139
最近在做数据处理的时候遇到一个DataFrame无法在循环中批量修改的问题，具体问题如下我有这样一个DataFrame我想只提取role_id为1和2的行的月份，然后构建新名为time的新列我写的代码如下但是无法实现，time列只会有最后一次循环的的结果。
dataframe操作踩坑
nowfuture的博客
11-09 1234
在进行groupby之后，要进行.reset_index() 两个dataframe进行纵向拼接。用axis=1，即在右边多一列；横向拼接用axis = 0，即在下面多一行 new_store_11 = pd.concat([store_11,month_df],axis = 1,sort = False) 在进行拼接的时候，两个表的index一定要相同，否则拼接没有意义。...
pySpark | pySpark.Dataframe使用的坑 与 经历
热门推荐
素质云笔记
07-05 2万+
笔者最近在尝试使用PySpark，发现pyspark.dataframe跟pandas很像，但是数据操作的功能并不强大。由于，pyspark环境非自建，别家工程师也不让改，导致本来想pyspark环境跑一个随机森林，用 《Comprehensive Introduction to Apache Spark, RDDs & Dataframes (using PySpark) 》中的案例，...
从业界专家总结的Oracle数据库迁移最佳实践：避免踩坑
[从业界专家总结的Oracle数据库迁移最佳实践：避免踩坑](https://img-blog.csdnimg.cn/img_convert/525ca7dbe038e1c19334cb7a3820f46d.png) # 1. Oracle数据库迁移概述** Oracle数据库迁移是指将数据、架构和对象从...
数据处理 笔记
thormas1996的博客
05-05 202
数据处理笔记 import pandas as pd #读取数据 data = pd.read_csv(path, header=0) #head=0表示第一行取为列名，head=-1表示列名为空 #改列名 data.columns = ['column1', 'column2', 'column3'] #取多列 data_12 = data[['column1', 'column2']] ...
自助餐剩余食品识别图像分割系统：教学内容全覆盖
sgcsdn99的博客
11-04 1360
数据集信息展示在本研究中，我们使用的数据集名为“9_5_Merged”，该数据集专门用于训练改进YOLOv8-seg的自助餐剩余食品识别图像分割系统。该数据集包含71个类别，涵盖了丰富多样的食品种类，旨在提高模型对不同类型剩余食品的识别和分割能力。通过对这些类别的细致划分，我们希望能够实现更高精度的图像分割，进而优化自助餐剩余食品的管理和利用。
【anaconda】使用记录
最新发布
zhuyan108的博客
11-05 287
window11 下安装anaconda。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值