Pandas从入门到入门

最新推荐文章于 2022-02-23 23:51:13 发布
最新推荐文章于 2022-02-23 23:51:13 发布
阅读量139 收藏
点赞数
分类专栏： 算法

没想到 pandas来写excel是需要安装openpyxl库（.xlsx文件）的 而且是直接覆盖写的 就是说只能将东西都在dataframe里面全都写好，然后写入excel。括号里要加engine='openpyxl'，不然就会变为xlrd，会遇到一些坑。

https://pandas.pydata.org/pandas-docs/version/0.22.0/10min.html

Series: 类似于list

s = pd.Series([1,3,5,np.nan,6,8])

DataFrame：类似于一个表格，是最重要的一种数据类型

第一种 np.array形式，index为行标，columns为列标

dates = pd.date_range('20130101', periods=6)
df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))
                   A         B         C         D
2013-01-01  0.469112 -0.282863 -1.509059 -1.135632
2013-01-02  1.212112 -0.173215  0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929  1.071804
2013-01-04  0.721555 -0.706771 -1.039575  0.271860
2013-01-05 -0.424972  0.567020  0.276232 -1.087401
2013-01-06 -0.673690  0.113648 -1.478427  0.524988

第二种 

Dataframe可以分别按照列的方向来定义，参数用字典的形式，字典里面，键对应列标，值对应该列的内容。

df2 = pd.DataFrame({ 
'A' : 1.,
'B' : pd.Timestamp('20130102'),
'C' : pd.Series(1,index=list(range(4)),dtype='float32'),
'D' : np.array([3] * 4,dtype='int32'),
'E' : pd.Categorical(["test","train","test","train"]),
'F' : 'foo' })

注意：如果一个列都是同一个数，可以像A那样写同一个数，也可以像D那样使用数组

     A          B    C  D      E    F
0  1.0 2013-01-02  1.0  3   test  foo
1  1.0 2013-01-02  1.0  3  train  foo
2  1.0 2013-01-02  1.0  3   test  foo
3  1.0 2013-01-02  1.0  3  train  foo

dtypes：The main types stored in pandas objects are float, int, bool, datetime64[ns] and datetime64[ns, tz]（时区） (in >= 0.17.0), timedelta[ns], category and object. In addition these dtypes have item sizes, e.g. int64 and int32. 

Viewing Data：一个DataFrame类，里面有这些类型的属性：index,conlumns,values

有这些方法：df.head(x)头x行 df.tail(x)尾x行 df.describe()展示一些个数、平均、方差之类的属性描述

df.T进行转置，

按照行/列标排序df.sort_index(axis=1, ascending=False)

按照值排序df.sort_values(by='B')

对DataFrame进行操作

df

                   A         B         C         D
2013-01-01  0.469112 -0.282863 -1.509059 -1.135632
2013-01-02  1.212112 -0.173215  0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929  1.071804
2013-01-04  0.721555 -0.706771 -1.039575  0.271860
2013-01-05 -0.424972  0.567020  0.276232 -1.087401
2013-01-06 -0.673690  0.113648 -1.478427  0.524988

取列：df['A']或df.A，对应于上面定义时候的字典形式

取行：df[0:3]，df['20130102':'20130104']，对应于上面定义时候的np.array形式

按label取行：df.loc[dates[0]]或：df.loc['2013-01-01']

A    0.469112
B   -0.282863
C   -1.509059
D   -1.135632
Name: 2013-01-01 00:00:00, dtype: float64

按label取列：df.loc[:,['A','B']] 

按两个label取：print(df.loc[dates[0:3],'A':'C'])或者df.loc['20130102':'20130104',['A','B']]

其实，加了loc，后面中括号里，就是跟python的list的切片一样使用了

如果列/行其中之一为1， 返回的类型就是Series，都不为一，则是DataFrame。都为一，则根据dataframe里面的类型决定，不是DataFrame或Sereis

都为一：df.at[dates[0],'A']或df.loc[dates[0],'A']

刚才的loc方法并不非常像python list的切片方法。

为了更像一些，提供了.iloc[关键是加了i] 括号里是纯数字

df.iloc[3]//df.iloc[3:5,0:2]//df.iloc[[1,2,4],[0,2]]// df.iloc[1:3,:]//df.iat[1,1]

Bool运算

df[df.A > 0]
                   A         B         C         D
2013-01-01  0.469112 -0.282863 -1.509059 -1.135632
2013-01-02  1.212112 -0.173215  0.119209 -1.044236
2013-01-04  0.721555 -0.706771 -1.039575  0.271860
df[df > 0]
                   A         B         C         D
2013-01-01  0.469112       NaN       NaN       NaN
2013-01-02  1.212112       NaN  0.119209       NaN
2013-01-03       NaN       NaN       NaN  1.071804
2013-01-04  0.721555       NaN       NaN  0.271860
2013-01-05       NaN  0.567020  0.276232       NaN
2013-01-06       NaN  0.113648       NaN  0.524988

df2 = df.copy()
df2['E'] = ['one', 'one','two','three','four','three']#像之前字典那样定义
                   A         B         C         D      E
2013-01-01  0.469112 -0.282863 -1.509059 -1.135632    one
2013-01-02  1.212112 -0.173215  0.119209 -1.044236    one
2013-01-03 -0.861849 -2.104569 -0.494929  1.071804    two
2013-01-04  0.721555 -0.706771 -1.039575  0.271860  three
2013-01-05 -0.424972  0.567020  0.276232 -1.087401   four
2013-01-06 -0.673690  0.113648 -1.478427  0.524988  three
df2[df2['E'].isin(['two','four'])]
                   A         B         C         D     E
2013-01-03 -0.861849 -2.104569 -0.494929  1.071804   two
2013-01-05 -0.424972  0.567020  0.276232 -1.087401  four

对DataFrame设置值：

settings

df.loc[:,'D'] = np.array([5] * len(df))#len表示行数

直接在loc/iloc的基础上进行赋值即可。

df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E'])#可以对df进行重新的形状设置，增/删 行/列

对NaN进行操作：

df1.dropna(how='any')#去掉带nan的行
df1.fillna(value=5)把nan的地方设置为5
pd.isna(df1)#相当于print(df[df=nan])但这个显然不可以这么写

对数据进行操作：（默认不带nan）

df.mean()#每列求平均
df.mean(1)#每行求平均
In [63]: s = pd.Series([1,3,5,np.nan,6,8], index=dates).shift(2)#shift的意思就是，整体向下移动2个单位
In [64]: s
Out[64]: 
2013-01-01    NaN
2013-01-02    NaN
2013-01-03    1.0
2013-01-04    3.0
2013-01-05    5.0
2013-01-06    NaN
Freq: D, dtype: float64

In [65]: df.sub(s, axis='index')#有sub那就还有add
Out[65]: 
                   A         B         C    D    F
2013-01-01       NaN       NaN       NaN  NaN  NaN
2013-01-02       NaN       NaN       NaN  NaN  NaN
2013-01-03 -1.861849 -3.104569 -1.494929  4.0  1.0
2013-01-04 -2.278445 -3.706771 -4.039575  2.0  0.0
2013-01-05 -5.424972 -4.432980 -4.723768  0.0 -1.0
2013-01-06       NaN       NaN       NaN  NaN  NaN

df.apply(传入函数的名称)

df:                   A         B         C         D
2013-01-01 -1.292577  0.292979 -1.036204 -0.032626
2013-01-02 -2.083671 -0.053030  0.281592  1.412437
2013-01-03  1.019190 -0.922485 -0.571476  1.914043
2013-01-04  0.754306 -0.673051 -0.252833  0.509505
2013-01-05  0.289606  0.908545  0.227111  0.738909
2013-01-06 -2.157600 -0.213822 -0.324352  0.691240
df.apply(np.cumsum)                   A         B         C         D
2013-01-01 -1.292577  0.292979 -1.036204 -0.032626
2013-01-02 -3.376248  0.239949 -0.754612  1.379810
2013-01-03 -2.357057 -0.682536 -1.326088  3.293853
2013-01-04 -1.602751 -1.355587 -1.578920  3.803358
2013-01-05 -1.313145 -0.447041 -1.351810  4.542267
2013-01-06 -3.470745 -0.660863 -1.676162  5.233507

进行纵向的累加 传入的函数都是进行纵向的列的计算的

统计频率：

 s.value_counts()

字符串方法：

s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca', np.nan, 'CABA', 'dog', 'cat'])
s.str.lower()

concat函数：

pieces = [df[:3], df[3:7], df[7:]]
pd.concat(pieces)

merge函数：

In [82]: left = pd.DataFrame({'key': ['foo', 'bar'], 'lval': [1, 2]})

In [83]: right = pd.DataFrame({'key': ['foo', 'bar'], 'rval': [4, 5]})

In [84]: left
Out[84]: 
   key  lval
0  foo     1
1  bar     2

In [85]: right
Out[85]: 
   key  rval
0  foo     4
1  bar     5

In [86]: pd.merge(left, right, on='key')
Out[86]: 
   key  lval  rval
0  foo     1     4
1  bar     2     5

对相同的key列的值合并行

append函数

df.append(s, ignore_index=True)#将s作为下一行添加在下面

groupby函数：按照某列相同的进行分组

df.groupby(['A','B']).sum()#一定要打sum，否则无法输出
tuples = list(zip(*[['bar', 'bar', 'baz', 'baz',
                         'foo', 'foo', 'qux', 'qux'],
                        ['one', 'two', 'one', 'two',
                         'one', 'two', 'one', 'two']]))

index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second'])

MultiIndex([('bar', 'one'), ('bar', 'two'), ('baz', 'one'), ('baz', 'two'), ('foo', 'one'), ('foo', 'two'), ('qux', 'one'), ('qux', 'two')], names=['first', 'second'])

df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=['A', 'B'])

                     A         B
first second                    
bar   one    -0.583097  0.652977
      two     0.495036 -1.013380
baz   one    -0.316055  0.245251
      two     0.245004  0.642539
foo   one    -0.170401 -1.944883
      two     0.244160 -0.245936
qux   one    -1.033248  0.601506
      two    -1.223583  0.416897

stack()压缩列数 一个维度，unstack（）可以还原

first  second   
bar    one     A   -0.583097
               B    0.652977
       two     A    0.495036
               B   -1.013380
baz    one     A   -0.316055
               B    0.245251
       two     A    0.245004
               B    0.642539
foo    one     A   -0.170401
               B   -1.944883
       two     A    0.244160
               B   -0.245936
qux    one     A   -1.033248
               B    0.601506
       two     A   -1.223583
               B    0.416897
dtype: float64

数据透视表

pd.pivot_table(df, values='D', index=['A', 'B'], columns=['C'])#values按哪一列来作为“值”，index是行分类的依据，columns是列分类的依据。分别对应了Excel的数据透视表这三栏。

作图：

df.plot()#生成一个matplotlib图像

读写文件：

1、csv：

df.to_csv('foo.csv')#写
pd.read_csv('foo.csv')#读

2、hdf5:

df.to_hdf('foo.h5','df')
pd.read_hdf('foo.h5','df')

3、Excel

df.to_excel('foo.xlsx', sheet_name='Sheet1')
pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])

最后附上来自于网络的一张图https://blog.csdn.net/qq_34617032/article/details/80433939

https://zhuanlan.zhihu.com/p/23998083也有相关对比

C站某不知名用户
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
10分钟 to pandas
风---的专栏
10-22 1539
import pandas as pd import numpy as np import matplotlib.pyplot as pltx In [3]: dates = pd.date_range('20130101', periods=6) dates Out[3]: DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-...
十分钟了解pandas（总结）
点火三周的专栏
10-17 1259
这里是官网上的原文。每次都还链接到最新版本。这篇文章，对于不是英语母语的，10分钟，我觉得绝逼是看不完的。网上已经有很多翻译了。我只是把文章的结构组织以下，死记硬背一下它提到的知识点。对象创建 创建Series 创建基于时间的index 创建DataFrame 查看数据 首尾数据 查看索引列值 查看统计数据 转置 索引排序 按列值排序 选取 取列 取行 通过标签来选取 loc 通过位置来选取 ilo
Python学习笔记——pandas入门
建世伟业的博客
07-21 647
pandas简介 pandas : Python数据分析模块 pandas是为了解决数据分析任务而创建的，纳入了大量的库和标准数据模型，提供了高效地操作大型数据集所需的工具。 pandas中的数据结构 : Series: 一维数组，类似于python中的基本数据结构list，区别是series只允许存储相同的数据类型，这样可以更有效的使用内存，提高运算效率。就像数据库中的列数据。 Dat...
pandas常用函数，个人常用的
总裁余（余登武）博客
05-26 3090
1.创建DataFrame import numpy as np import pandas as pd data = {"姓名":["张三","小明","李强","汪小小","李四","王麻子","余总","肖强"], "score":[85,90,70,67,68,np.nan,100,86]} data=pd.DataFrame(data) print(data) 2.数据提取 提取姓名为余总的行 result=data[data['姓名'].str.contains("余总"
python数据分析系列教程——Pandas全解
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
06-01 1万+
起步 Pandas最初被作为金融数据分析工具而开发出来，因此 pandas 为时间序列分析提供了很好的支持。 Pandas 的名称来自于面板数据（panel data）和python数据分析 （data analysis） 。panel data是经济学中关于多维数据集的一个术语，在Pandas中也提供了panel的数据类型。 在我看来，对于 Numpy 以及 Matplotlib ，Pand...
Pandas 从入门到精通
01-03
《Pandas从入门到精通》 Pandas是Python编程语言中的一个强大数据分析库，它提供了一种高效的数据结构——Series和DataFrame，使得数据处理变得简单易行。掌握Pandas是成为数据科学家或分析师的重要一步。以下是一...
pandas技术入门手册
07-28
Pandas是一个用于数据处理和分析的Python库。它提供了高性能，易于使用的数据结构，如DataFrame（类似于表格）和Series（类似于一维数组），以及各种数据操作工具。 Pandas可以帮助你读取、处理和分析各种类型的...
Pandas 基础入门
12-22
**Pandas 基础入门** Pandas 是Python中用于数据分析和处理的重要库，它建立在Numpy之上，为处理复杂的数据集提供了便利。Pandas的核心数据结构是`Series`和`DataFrame`，它们与Numpy数组不同，具有数据和索引两...
pandas快速入门官方资源
02-12
pandas快速入门官方资源 pandas是基于Python的数据分析库，提供了高效的数据结构和分析工具。本节将对pandas的基本概念和使用方法进行介绍。 系列（Series） Series是pandas中的基本数据结构之一，相当于一维数组...
pandas入门.ipynb
最新发布
05-14
pandas入门.ipynb
df[条件][新增列名]与df.loc[条件][新增列名]区别(了解底层原因)
漫步量化
11-26 5168
在数据处理过程中,经常要对符合某种条件的行列进行操作,有时候会犯迷糊,这里详细解释一下pandas是怎么识别df[]的. df[<条件>] # 得到的是一个新的df1,对其进行任何操作,对原来的df不产生影响. type(df[<条件>]) # 数据类型是DataFrame >> <class 'pandas.core.frame.DataFram...
python 【模块】pandas数组处理详解
爱死亡机器人
05-20 8594
pandas介绍 Pandas 的数据结构：Pandas 主要有 Series（一维数组），DataFrame（二维数组），Panel（三维数组），Panel4D（四维数组），PanelND（更多维数组）等数据结构。其中 Series 和 DataFrame 应用的最为广泛。 Pandas 常用的数据结构有两种：Series 和 DataFrame。这些数据结构构建在 Numpy 数组之上，这意味着它们效率很高。 方法 python版本：3.5>=python 导入相关库 import numpy
Python笔记：df.loc[]和df.iloc[]的区别
热门推荐
htuhxf的博客
03-06 5万+
stackoverflow原文：pandas iloc vs ix vs loc explanation; how are they different? 在pandas 0.20.0及以上版本，ix已经被loc和iloc取代了，因此不讨论它。 前提，简单介绍一下它俩： – loc利用index的名称，来获取想要的行（或列）。 – iloc利用index的具体位置（所以它只能是整数型参数），...
Python Data Analysis Library(一)--pandas
AlexMerer的博客
07-17 807
import pandas as pd import numpy as np import matplotlib.pyplot as plt     Pandas是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分。
Python学习之：pandas 索引 loc，iloc ；数据过滤和筛选
qq_42902997的博客
02-23 2849
import pandas as pd columns = ['name','age','sex'] data = [['wang',15,'male'], ['li',20,'female']] df = pd.DataFrame(data=data,columns=columns) df name age sex 0 wang 15
深度学习基础（四） -- pandas基础知识
进击的Explorer
03-10 953
pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。 1、DataFrame结构 pandas 相当于 python 中 excel：它使用表（也就是 dataframe)，能在数据上做各种变换，但还有其他很多功能。 D...
python dataframe条件求和_数据分析之路-Python-pandas
weixin_39596835的博客
11-27 7424
了解数据#构建数据import pandas as pd import numpy as np #构建数据 dates = pd.date_range('20130101', periods=6) df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD')) df2 = pd.DataFrame({'A': ...
pandas教程：pandas主要功能详解
好好学java
10-06 1414
pandas基本功能 将文件数据导入Pandas 通过pandas提供的read_xxx相关的函数可以读取文件中的数据，并形成DataFrame,常用的数据读取方法为：read_csv，主要可以读取文本类型的数据 df =pd.read_csv("Counts.csv", header=0) df.head() 选择/切片 df[‘column_name’] ，df[row_start_inde...
学习笔记三、pandas包中常用方法整理
keith0812的专栏
12-13 1805
本文由pandas官网提供的十分钟熟悉pandas包的介绍文档整理而成。 整理思路： 通过pandas包与现有分析工具在使用上的区别，让分析人员能从系统上了解pandas包的功能，以便后期快速上手。      相关资料： 1、10 minutes to pandas原文网址：http://pandas.pydata.org/pandas-docs/stable/10min.html 2、
Pandas基础教程：从入门到精通
"JoyfulPandas Release1.0 是一个关于数据分析工具Pandas的教程，由Datawhale和GYH于2020年12月7日发布。本教程涵盖了Pandas的基础知识，包括Python基础、Numpy基础以及Pandas核心功能的详细讲解，并通过一系列练习...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值