![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据处理
早睡早起早日毕业
一个可可爱爱的以早日毕业为目标的佛系博士生
展开
-
Python 读取文件夹中所有的pickle文件
最近碰到读取一个目录中所有的pickle文件的任务,顺便记录一下。import os import pandas as pd from collections import defaultdict, Counterimport numpy as np#调用与当前.py文件不在同一个目录下的.py文件的函数模块import syssys.path.append(r'D:\PycharmProjects\A\B')from C import *import dill as picklefo原创 2022-03-02 11:15:09 · 1396 阅读 · 1 评论 -
数据清洗工作小结
今天帮课题组的老师处理了一部分数据,由于长时间不做数据清洗的工作,本栗子进行了长达2个小时的百度。这篇文档主要是针对该清洗工作的小结。从xlsx文件中读取指定的几列数据,为数据框格式xls=pd.ExcelFile('ABC.xlsx')#BG、BH、BI、BJ、BK、BL列#sheet的名字为Datadf=pd.read_excel(xls, 'Data',usecols="BG:BL")获取数据框的所有列名columns_list=df.columns.tolist()#返回列表原创 2021-08-27 22:54:32 · 1573 阅读 · 1 评论 -
Python 3: pandas包merge函数合并多个表
今天有一个任务,需要根据两个字段连接3张表。本来想用join方法,结果一直在报错。后来来参考文章1,和文章2用merge函数可以实现。如果有用join方法实现的小伙伴,请在评论区不吝赐教一下!from functools import reducedf=[df_0612, df_0613, df_0614]df_merge= reduce(lambda left,right: pd.merge(left,right,on=['区县','来源地']), df)print("--------------原创 2021-07-01 11:15:14 · 3659 阅读 · 0 评论 -
根据列索引,使用drop函数删除数据框中特定的几列
通过查阅资料,发现网上大部分是使用列名删除数据框中的列。今天记录一下,根据列索引,使用drop函数删除数据框中特定的几列数据的方法,参考了这篇文章直接上代码# 读取xlsx数据为数据框xls_0612=pd.ExcelFile('../data/0612.xlsx')#读取一个工作表df_0612=pd.read_excel(xls_0612, '省内')print(df_0612)xls_0613=pd.ExcelFile('../data/0613.xlsx')df_0613=pd.re原创 2021-06-30 14:09:05 · 1016 阅读 · 1 评论 -
python sklearn库中的缺失值填充
今天小萌新复习数据挖掘课程的知识点,当看到缺失值填充(imputation of missing values)部分,被sklearn库中的transform函数搞晕了。看了几篇前辈们的博客,来这里总结一下。请大家指正。缺失值填充(imputation of missing values)原始数据中会有一些缺失的属性值,一般人都会选择自动填充。import numpy as npfrom sklearn.impute import SimpleImputerimp = SimpleImputer(原创 2020-10-17 20:52:15 · 980 阅读 · 0 评论 -
python 使用groupby count 函数之后输出为csv文件/xlsx文件
第一次写博客,竟然是为了记录pandas库对数据框分组计算之后的输出问题。问题:无法输出每个分组的名称今天对数据框进行分组、计数操作之后,发现操作之后的数据框只有两列——分组计数的结果。没有每个组的名称。解决方法加了一个参数在groupby语句里面,as_index=False。自己理解的是:使用as_index = False,可以获得“ SQL-like”输出。grouped1=df1.groupby(["condition1", "condition2"],as_index=False).原创 2020-06-09 20:23:05 · 2348 阅读 · 3 评论