![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pandas
文章平均质量分 57
陆沙
诚以待己,惜物爱人
展开
-
pandas-更新中-数据清洗与准备
pandas常用数据清洗方法原创 2023-07-11 09:01:29 · 161 阅读 · 0 评论 -
pandas-列的拆分与合并+类型与格式转换+数据排序
DataFrame拆分与合并列输入数据格式如下:(csv文件)要求:按年月日递增顺序排序数据;将Date改为 年/月/日 格式,并存为csv文件# 读取文件raw_data = pd.read_csv(file_name)# 读取表头headers = list(raw_data.columns)# 此后有Month Day Year三列raw_data[['Month', 'Day', 'Year']] = raw_data['Date'].str.split('/', expa原创 2021-12-13 10:30:00 · 1143 阅读 · 0 评论 -
pandas-Notes1
#coding = utf-8import pandas as pdimport numpy as npimport matplotlib as plt# series, like vector, vertical aligned.s = pd.Series([1,2,np.nan,3])print s'''0 1.01 2.0...原创 2017-06-05 18:55:00 · 115 阅读 · 0 评论 -
pandas-读取excel-列名是日期类型且值相等时【注意】
昨天(2020/12/29)业务上出了bug,排查之后发现是某张sheet里某个列名重复了,而且都是日期(2020/12/29)我????举个例子:A1/B1/C1都是日期类型且值都是2020/12/30用一段代码读取:def pro2(file_name): sheets = pd.read_excel(file_name, sheet_name=None) sheet_names = list(sheets.keys()) for sheet in sheet_names原创 2020-12-30 14:30:48 · 589 阅读 · 0 评论 -
pandas-isnull()判断是否为空-使用注意
这是一个工作事故。。。读取excel的时候,有一个字段,需要判断它是不是空白的。所以我开开心心用了pd.isnull(oid)但是呢,为了方便后续的使用,我已经把oid转成了字符串,即oid = str(df.loc[ridx, oid_label])那之后再判断oid时,oid已经变成 nan 了,所以pd.isnull()自然会是True,导致循环跳转错误。粗心害人。。。这个破bug我楞是找了两个小时。。。反省。。。...原创 2020-09-15 13:26:22 · 2508 阅读 · 0 评论 -
pandas与excel联动-pandas基础7-Category类型
Category类似enum,只能取有限几个值,在机器学习里的分类问题上,可能用得到。原创 2020-07-01 15:08:52 · 319 阅读 · 0 评论 -
pandas与excel联动-pandas基础2-Index对象
Index对象单层索引多层索引普通列转化为indexDataFrame中的列任意列index转化为普通列索引类似元组,不能赋值修改。多层索引可以改变表的形态。单层索引>>> data = ['a', 'b', 'c']# 创建索引,参数dtype指索引元素的类型默认为object>>> index = pd.Index(data, name="name1")# index.name index.values index.dtype>>>原创 2020-06-29 17:26:03 · 212 阅读 · 0 评论 -
pandas与excel联动-pandas基础3-数值计算
绝大多数操作都是对数值列进行操作的,极少数是对DataFrame整体或每个元素分别进行变换的。目录按元素二元运算+.add()其他运算矩阵运算.dot().T本地一元运算统计运算举例数据>>> df1 A Ba 1 2b 3 4>>> df2 B Cb 1 3d 4 8按元素二元运算+DataFrame + DataFrame先将index和columns拓展到相同,再进行计算。计算时,如果有一个操作数是缺失的,那么原创 2020-06-29 15:28:17 · 327 阅读 · 0 评论 -
pandas与excel联动-pandas基础4-merge函数
前面合并两个DataFrame可以用concat函数,但concat本质上是在所有index上同时进行对齐合并。所以如果只要按index对齐,请使用concat方法。如果想在任意列上对齐合并,则需要merge函数,这在sql应用很多。pd.merge(left, right, how=‘inner’, on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort = False)参数说明:left,r原创 2020-06-29 11:08:44 · 593 阅读 · 0 评论 -
pandas与excel联动-pandas基础5-展示控制
展示控制展示格式展示格式pd.get_option(key)pd.set_option(key, value)pandas.reset_option(key)可以修改的参数有:‘display.max_rows’‘display.max_columns’‘display.max_colwidth’原创 2020-06-29 10:11:30 · 175 阅读 · 0 评论 -
pandas与excel联动-pandas基础6-str/cat/dt
有用的中间类型.str.cat.dt.strnumpy支持多种数据类型,但字符串都是存储为object_类型的。str则是一个有用的中间类型。>>> s = pd.Series(['a_b','b_c','c_d'],dtype = 'object')>>> s0 a_b1 b_c2 c_ddtype: object>>> s.str.split("_",expand=True) # 相当于分列了 0 10原创 2020-06-28 17:22:46 · 184 阅读 · 0 评论 -
pandas与excel联动-pandas基础1-Series和DataFrame的增删改查
pandas基础基础SeriesDataFrame基础pandas中的核心对象是Series和DataFrame。Index是构成和操作Series、DataFrame的关键,其具有元组特性。三个重要属性:Index.nameIndex.valuesIndex.dtypenumpy有一个N维数组对象ndarray,用于存放同类型元素的多维数组。np.array()SeriesSeries是一维数据结构,有序,有索引。类似dict创建data=[1,2,3]idx=['a','b'原创 2020-06-28 17:03:40 · 905 阅读 · 0 评论