python--data.dropna

最新推荐文章于 2024-04-24 13:35:29 发布
最新推荐文章于 2024-04-24 13:35:29 发布
阅读量2.3k 收藏 6
点赞数 1
分类专栏： dropna 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37711173/article/details/109623396
版权

读取csv文件 data=pd.read_csv（‘G:\IOtest_1.csv’）

1、删除全为空值的行或列

      data=data.dropna(axis=0,how='all')   #行

      data=data.dropna(axis=1,how='all')   #列

2、删除含有空值的行或列

     data=data.dropna(axis=0,how='any')   #行

     data=data.dropna(axis=1,how='any')   #列

qq_37711173
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python设计外语外贸大学生创业项目评价系统，代码项目演示.docx
05-27
# Python设计外语外贸大学生创业项目评价系统 该项目旨在为外语外贸大学生创业项目提供评价系统，以帮助他们更好地了解企业运营状况并提供改进建议。以下是代码项目演示： ## 步骤1：导入所需库 ``` import pandas as pd import numpy as np import matplotlib.pyplot as plt ``` ## 步骤2：读取数据 ``` data = pd.read_csv('startup_data.csv') ``` ## 步骤3：数据清洗和预处理 ``` # 删除重复行 data.drop_duplicates(inplace=True) # 删除缺失值 data.dropna(inplace=True) # 将文本数据转换为数字 from sklearn.preprocessing import LabelEncoder le = LabelEncoder() data['industry'] = le.fit_transform(data['industry']) data['region'] = le.fi
【pandas】数据清洗的几种方法
努力！加油！！
11-10 477
在数据处理和分析过程中，数据清洗是至关重要的一步。Pandas是Python中用于数据处理和分析的强大库，提供了多种数据清洗方法。。
DataPre.py
07-17
# -*- coding: utf-8 -*- import pandas as pd import pickle import time from sklearn import preprocessing def current_time(): ''' 以固定格式打印当前时间 :return:返回当前时间的字符串 ''' return time.strftime('%Y-%m-%d %X', time.localtime()) class DataPre: ''' 数据预处理器 它的初始化需要提供清洗好的数据。它提供了唯一的对外接口：load_data()。它返回预处理好的数据。 如果数据已存在，则直接返回。否则将执行一系列预处理操作并返回预处理好的数据。 ''' def __init__(self, train_data, test_data): self.train_datas = pd.read_csv(train_data,index_col=['SK_ID_CURR']) self.trainlables = self.train_datas['TARGET'] # 删除唯一值 self.train_datas.drop(['TARGET'], axis=1,inplace=True) self.test_datas = pd.read_csv(test_data,index_col=['SK_ID_CURR']) self.test_datas.drop(['Unnamed: 0'], axis=1,inplace=True) self.train_datas.drop(['Unnamed: 0'], axis=1,inplace=True) self.test_datas.drop(['previousSCOFR'], axis=1,inplace=True) # 这两个特征全是 NAN self.train_datas.drop(['previousSCOFR'], axis=1,inplace=True) self.test_datas.drop(['previousHomewares'], axis=1,inplace=True) self.train_datas.drop(['previousHomewares'], axis=1,inplace=True) self.train_datas.dropna(axis=0, how='all',inplace=True) self.train_datas.dropna(axis=1, how='all',inplace=True) self.test_datas.dropna(axis=0, how='all',inplace=True) self.test_datas.dropna(axis=1, how='all',inplace=True) print(len(self.train_datas.dtypes)) print(len(self.test_datas.dtypes)) self.fname = 'D:\\data\\processed_data' # 类别特征全部编码 def encode(self,features): print("----- Begin run encode at %s -------" % current_time()) TrainTemp = self.train_datas[features] TestTemp = self.test_datas[features] le = preprocessing.LabelEncoder() for i in features: le.fit(TrainTemp[i]) self.train_datas[i] = le.transform(TrainTemp[i]) self.test_datas[i]= le.transform(TestTemp[i]) print("----- end run encode at %s -------" % current_time()) def getColType(self): ''' :处理数据类型 ''' Tcols = self.train_datas.columns TeCols = self.test_datas.columns cols = list(set(list(Tcols)) & (set(list(TeCols)))) objectLists = [] numberLists = [] RTraindata = self.train_datas[cols] RTestdata = self.test_datas[cols] self.train_datas = None self.train_datas = RTraindata self.test_datas = None self.test_datas = RTestdata print(len(self.train_datas.columns)) print(len(cols)) for i in cols: temp = self.train_datas[i].dtype if temp == 'object': objectLists.append(i) else: numberLists.append(i) return objectLists,numberLists def writeFile(self,dictdata,filename): with open(filename,'w') as files: files.write(str(dictdata)) def fillna(self,numeric_feature,string_feature): # 填充缺失值 for i in string_feature: # 字符串类型 self.train_datas[i].fillna('miss',inplace=True) self.test_datas[i].fillna('miss',inplace=True) for i in numeric_feature: value = self.train_datas[i].mean() self.train_datas[i].fillna(value,inplace=True) self.test_datas[i].fillna(value,inplace=True) def scaled(self,types): ''' 特征归一化 :return: ''' print("----- Begin run scaled at %s -------" % current_time()) trantemp = self.train_datas[types] testtemp = self.test_datas[types] trantemp.fillna(0, inplace=True) testtemp.fillna(0, inplace=True) for i in types: MEAN = trantemp[i].mean() STD = trantemp[i].std() if STD != 0: trainnorm = (trantemp[i] - MEAN) / STD testnorm = (testtemp[i] - MEAN) / STD self.train_datas[i] = trainnorm self.test_datas[i] = testnorm print("----- End run scaled at %s -------" % current_time()) def save_data(self): print("----- Begin run save_data at %s -------"%current_time()) with open(self.fname,'wb') as file:#保存训练集、测试集、编码器、归一化器 pickle.dump([self.train_datas,self.test_datas,self.trainlables],file) print("----- End run save_data at %s -------"%current_time()) def load_data(self): print("----- Begin run _load_data at %s -------"%current_time()) with open(self.fname,'rb') as file:#加载训练集、测试集 self.train_datas,self.test_datas,self.trainlables=pickle.load(file) print("----- End run _load_data at %s -------"%current_time()) def propressData(self): TobjectList, TnnumberList = datapre.getColType() self.fillna(TnnumberList, TobjectList) self.scaled(TnnumberList) self.encode(TobjectList) self.save_data() if __name__=='__main__': datapre=DataPre("D:\\data\\train_data.csv","D:\\data\\test_data.csv") datapre.propressData()
【利用Python进行数据分析】第七章个人知识点总结
Slip_of_IT的博客
11-05 390
DataFrame的duplicated 方法返回的是一个布尔值Series——这个Series反映的是每一个是否存在重复（与之前出现过的行相同）情况。DataFrame的drop_duplicates方法是返回的是DataFrame，内容为duplicated返回数组中为False的部分。通过函数或某种形式的映射对轴标签进行类似的转换，生成新的且带有不同标签的对象。np.sign(data)根据数据中的值的正负值分别生成1和-1的数值。fillna默认（ffill）补充的是同一列中的前一个数。
数据科学科学导论——数据预处理
w4324323的博客
04-20 3018
第一关 数据清理——查漏补缺 数据清理所需要掌握的知识点： 1.numpy库 2.pandas库 3.sklearn库 为什么要清理数据？ 因为任何一组大量的数据之中，肯定存在空缺值、噪声数据，而数据清理的重点就是将这两种数据全部给清楚掉。 空缺值 在大多数时候数据并不总是完整的，例如：数据库表中，很多条记录的对应字段没有相应值，比如销售表中的顾客收入。而引起空值的原因有很多： 设备异常； 与其他已有数据不一致而被删除； 因为误解而没有被输入的数据； 在输
pandas之dropna（）的用法
u012413709的博客
08-05 7948
该函数目的是用于滤除缺失数据。如果对象是Series,则返回一个仅含非空数据和索引值的Series，默认丢弃含有缺失值的行。 对象.dropna()。DataFrame则不一样了: data.dropna(how = 'all') # 传入这个参数后将只丢弃全为缺失值的那些行 data.dropna(axis = 1) # 丢弃有缺失值的列（一般不会这么做，这样会删掉一个特征） data.dropna(axis=1,how="all") # 丢弃全为缺失值的那些列 data.dro...
python数据处理之pandas入门（二）
zzl49689981的博客
07-15 422
1、查看缺失值 方法一：df.isunll 是缺失值显示True import pandas as pd df = pd.read_excel('测试.xlsx') print(df.isnull())
python核心用法数据清洗（上）
糊里糊涂走进大数据的小菜鸡
12-17 1634
1、预备知识-python核心用法常用数据分析库（上） 文章目录1、预备知识-python核心用法常用数据分析库（上）**概述****实验环境****任务一：环境安装与配置****【实验目标】****【实验步骤】****任务二：Pandas数据分析实战****【任务目标】****【任务步骤】** 概述 Python 是当今世界最热门的编程语言，而它最大的应用领域之一就是数据分析。在python众多数据分析工具中，pandas是python中非常常用的数据分析库，在数据分析，机器学习，深度学习等领域经常被使用
【工程实践】Pandas 删除某列指定值所在的行
热门推荐
Dong_ZH的博客
01-11 3万+
使用pandas对数据操作，筛选数据时，根据任务要求有时不仅要某列中存在空值的行，并且要删除某列中指定值所在行。 1.data.dropna() 默认参数： data.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False) 1-1 axis确定删除存在缺失值的行或者是列 #删除含有缺失值的行 axis=0或axis='index’ #删除含有缺失值的列 axis=1或axis='columns’ 1...
数据预处理---缺失值
qq_43778002的博客
11-09 496
数据预处理---缺失值 在日常的数据处理中不可避免的是数据集中的一些数据缺失某个或某些维度，这也造成了未处理的数据因其中含有NAN值而无法使用，这里介绍一种缺失值的处理 将？替换为标准缺失值表示 data=data.replace(to_replace='?'),value=np.nan 丢弃带有缺失值的数据（只要有一个维度有缺失） data=data.dropna(how='any') 输出data的数据量和维度 data.shape 以上仅为个人学习笔记记录，如有错误，敬请指正 ...
Python库 | scikit-learn-0.24.2.tar.gz
05-21
资源分类：Python库 所属语言：Python 资源全名：scikit-learn-0.24.2.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
python-2.7.5-90.el7.x86_64.rpm
02-25
python-2.7.5-90.el7.x86_64.rpm
policycoreutils-python-utils-2.9-14.el8.noarch.rpm
12-19
官方离线安装包，亲测可用。使用rpm -ivh [rpm完整包名] 进行安装
python-3.7.6-amd64.exe
12-26
python-3.7.6 windows版 在电脑上写python代码 可以结合visual使用python-3.7.6 windows版 在电脑上写python代码 可以结合visual使用 python-3.7.6 windows版 在电脑上写python代码 可以结合visual使用
python-matplotlib-data-2.0.0-3.el7.noarch.rpm
12-13
官方离线安装包，亲测可用。使用rpm -ivh [rpm完整包名] 进行安装
[python3] 读取一个正在更新的日志文件
最新发布
言之。
04-24 803
等同于–follow=name --retry，根据文件名进行追踪，并保持重试，即该文件被删除或改名后，如果再次创建相同的文件名，会继续追踪。这两种方法都会持续监听日志文件的变化，并实时读取新增的日志内容。你可以根据实际需求选择其中一种方法。要读取一个正在更新的日志文件（即实时写入的日志文件），你可以使用 Python 的。的技巧来实现实时读取。函数打开文件，并使用。
实现自定义注解、实现自定义幂等性注解
qq_44721738的博客
04-23 965
添加 Spring AOP 依赖。创建自定义注解。创建一个新的 Java 注解类，通过@interface关键字来定义，并可以添加元注解以及属性。@Target(ElementType.METHOD) //表示作用于方法上@Retention(RetentionPolicy.RUNTIME) // 表示这个注解在运行时是可见的，这样 AOP 代理才能在运行时读取到这个注解编写 AOP 拦截（自定义注解）的逻辑代码。@Aspect@Component// 方法执行前的处理。
Pandas 2.2 中文官方教程和指南（二十二）
龙哥盟
04-24 1123
原文：pandas.pydata.org/docs/ 时间增量 原文：pandas.pydata.org/docs/user_guide/timedeltas.html 时间增量是时间之间的差异，以不同的单位表示，例如天、小时、分钟、秒。它们可以是正数也可以是负数。 Timedelta是datetime.timedelta的子类，并且行为类似，但也允许与np.timedelta64类型兼容，以及一系列自定义表示、解析和属性。 解析 您可以通过各种参数构造一个Timedelta标量，包括ISO 860
Pandas 2.2 中文官方教程和指南（十五）
龙哥盟
04-24 740
原文：pandas.pydata.org/docs/ 处理文本数据 原文：pandas.pydata.org/docs/user_guide/text.html 文本数据类型 在 pandas 中有两种存储文本数据的方式： object -dtype NumPy 数组。 StringDtype 扩展类型。 我们建议使用StringDtype来存储文本数据。 在 pandas 1.0 之前，object dtype 是唯一的选项。这在很多方面都是不幸的： 你可能会在object dty
（1）用pandas 库读取 PRSA_ data 2010.1.1-2014.12.31.csx 文件，查看前3行、后2行。 (2) 刪除列 DEWP、TEMP、PRES、cbwd、Iws、Is、Ir,并将剰余列用 pandas 数据 预处理模块将缺失值丢弃处理，导出到新的csV 文件 pm25_ data 2010.1.1-2014.12.31.csv。 (3）利用pandas 库读取新的数据集 pm25_ data 2010.1.1-2014.12.31.csv，并选择字段 pm2.5 大子300
06-08
data = data.dropna() # 导出为新的CSV文件 data.to_csv('pm25_data_2010.1.1-2014.12.31.csv', index=False) ``` (3) 利用pandas库读取新的数据集pm25_data_2010.1.1-2014.12.31.csv，并选择字段pm2.5大于300。 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值