pandas学习（创建数据，基本操作）

最新推荐文章于 2023-08-10 22:41:45 发布
最新推荐文章于 2023-08-10 22:41:45 发布
阅读量233 收藏 1
点赞数
文章标签： 数据结构与算法 python
原文链接：http://www.cnblogs.com/-wenli/p/10271475.html
版权

pandas学习（一）

 


Pandas基本数据结构

Series类型数据

Dataframe类型

基本操作

 

 

Pandas基本数据结构

两种常用数据结构：
Series
一维数组，与Numpy中的一维array类似，二者与Python基本数据结构List很相似，Series能保存不同数据类型，字符串，boolbean值、数字等都能保存在Series中

DataFrame
二维的表格型数据结构。很多功能与R中的data frame类似。可以将DataFrame理解为Series的容器。

　　

 

 

 

Series类型数据

默认情况下下标是数字（可以使用额外参数指定），类型是统一的
第一个参数就是一维的数组，你可以通过传入列表，也可以使用numpy生成

 

初始化series

第一种方法通过numpy生成。

import pandas as pd
s=pd.Series(np.arange(0,6))
print(s)

 

0    0
1    1
2    2
3    3
4    4
5    5

注意：默认没有指定下标，所以从零开始。

 

 

第二种方法，通过传入列表。

import pandas as pd
s=pd.Series([1,3,6,np.nan,44,1])#np.nan是空值
print(s)

 

0     1.0
1     3.0
2     6.0
3     NaN
4    44.0
5     1.0

　　

增加行标签

import pandas as pd
s=pd.Series([1,3,6,np.nan,44,1]，index='a','b','c','d','e','f')
print(s)
print(s.index)#行标签名
print(s.values)#所有值
print(s[0])#通过下标访问
print(s[1:4])#通过切片访问

　　

b     1.0
f     3.0
e     6.0
d     NaN
a    44.0
c     1.0
dtype: float64

Index(['b', 'f', 'e', 'd', 'a', 'c'], dtype='object')

[ 1.  3.  6. nan 44.  1.]
1.0

f    3.0
e    6.0
d    NaN

　　

 

 

 

Dataframe类型

第一种创建方式
DataFrame则是个二维结构，这里首先构造一组时间序列，作为我们第一组的下标

 

import pandas as pd
date1= pd.date_range('20190114',periods=6)
print(date1)

 

DatetimeIndex(['2019-01-14', '2019-01-15', '2019-01-16', '2019-01-17',
               '2019-01-18', '2019-01-19'],
              dtype='datetime64[ns]', freq='D')

　　


然后创建一个Dataframe结构，默认没有指定下标

不指定index和clumns时，默认从零开始
第一个参数其实就是一个二维数组，使用numpy可以生成

import pandas as pd
date1= pd.date_range('20190114',periods=6)

df=pd.DataFrame(np.random.randn(6,4))#生成6行4列
print(df)

 

          0         1         2         3
0  0.019099  0.685904 -1.748481  0.944940
1 -1.754479 -0.229799 -0.581667  0.594955
2  0.302477  0.017760  0.747850 -0.516475
3  0.980783  0.215233  0.905535 -0.844875
4 -1.004730 -0.745205  0.409685  0.044063
5  1.302190 -0.355871 -0.009040  0.575193

　　

指定下标，当然这里也可以用别的一维列表来指定行下标，不一定要使用时间序列。

import pandas as pd
date1= pd.date_range('20190114',periods=6
df=pd.DataFrame(np.random.randn(6,4),index=date1,columns=['a','b','c','d']) #index为行下标，columns为列下标
print(df)

 

                   a         b         c         d
2019-01-14 -0.936922  0.727929 -0.021961 -1.042981
2019-01-15 -0.428813  0.304645  0.397171  1.601983
2019-01-16  1.529067 -0.745912 -0.028289 -1.497475
2019-01-17 -1.756153 -0.870725 -0.161252 -1.607953
2019-01-18 -1.474564  0.364908  1.038624  0.247872
2019-01-19 -0.071704  1.684375 -0.745785  0.301716

　　

 

第二种创建方式

除了向Dataframe中传入二维数组，我们也可以使用字典传入数据
字典的每一个key代表一列，其value可以使各种能够转化为Series的对象
与Series要求所有的类型都一致不同，DataFrame只要求每一列数据的格式相同

import pandas as pd
df1 = pd.DataFrame({'A':1.,
                    'B':pd.Timestamp('20190114'),
                    'C':np.array([3]*4,dtype='int32'),
                    'E':pd.Categorical(["test","train","test","train"]),
                    'F':'foo',
                    'G':pd.Series([1,2,3,4])
}

)
print(df1)

 

     A          B  C      E    F  G
0  1.0 2019-01-14  3   test  foo  1
1  1.0 2019-01-14  3  train  foo  2
2  1.0 2019-01-14  3   test  foo  3
3  1.0 2019-01-14  3  train  foo  4

　

简单操作

import pandas as pd
df1 = pd.DataFrame({'A':1.,
                    'B':pd.Timestamp('20190114'),
                    'C':np.array([3]*4,dtype='int32'),
                    'E':pd.Categorical(["test","train","test","train"]),
                    'F':'foo',
                    'G':pd.Series([1,2,3,4])
}

)
print(df1.dtypes)#查看类型，查看每列的类型
print(df1.index)#查看行下标
print(df1.columns)#查看列下标
print(df1.values)#查看所有值
print(df1.describe())#查看平均数，方差等计算值

　　

 

A           float64
B    datetime64[ns]
C             int32
E          category
F            object
G             int64
dtype: object
RangeIndex(start=0, stop=4, step=1)
Index(['A', 'B', 'C', 'E', 'F', 'G'], dtype='object')
[[1.0 Timestamp('2019-01-14 00:00:00') 3 'test' 'foo' 1]
 [1.0 Timestamp('2019-01-14 00:00:00') 3 'train' 'foo' 2]
 [1.0 Timestamp('2019-01-14 00:00:00') 3 'test' 'foo' 3]
 [1.0 Timestamp('2019-01-14 00:00:00') 3 'train' 'foo' 4]]
         A    C         G
count  4.0  4.0  4.000000
mean   1.0  3.0  2.500000
std    0.0  0.0  1.290994
min    1.0  3.0  1.000000
25%    1.0  3.0  1.750000
50%    1.0  3.0  2.500000
75%    1.0  3.0  3.250000
max    1.0  3.0  4.000000

　　

 

 

基本操作

 

访问数据

通过标签选择数据

df.loc[index,columns],通过行和列的标签来选择数据

使用loc，select by label

date1= pd.date_range('20190114',periods=6)
df=pd.DataFrame(np.arange(2,26).reshape(6,4),index=date1,columns=['a','b','c','d'])
print(df)
print(df.loc['2019-01-15','b'])#通过行下标和列下标确定一个值
print(df.loc[:,'b'])#选择所有行，列为'b'
print(df.loc['2019-01-18',:])#选择所有列，行为'2019-01-18'

　　

             a   b   c   d
2019-01-14   2   3   4   5
2019-01-15   6   7   8   9
2019-01-16  10  11  12  13
2019-01-17  14  15  16  17
2019-01-18  18  19  20  21
2019-01-19  22  23  24  25

7

2019-01-14     3
2019-01-15     7
2019-01-16    11
2019-01-17    15
2019-01-18    19
2019-01-19    23
Freq: D, Name: b, dtype: int32

a    18
b    19
c    20
d    21
Name: 2019-01-18 00:00:00, dtype: int32

　　

 

 

通过位置

使用iloc,select by position

date1= pd.date_range('20190114',periods=6)
df=pd.DataFrame(np.arange(2,26).reshape(6,4),index=date1,columns=['a','b','c','d'])
print(df)
print(df.iloc[0])#第一行
print(df.iloc[1])#第二行
print(df.iloc[0:4])#第一行到第四行

 

             a   b   c   d
2019-01-14   2   3   4   5
2019-01-15   6   7   8   9
2019-01-16  10  11  12  13
2019-01-17  14  15  16  17
2019-01-18  18  19  20  21
2019-01-19  22  23  24  25

a    2
b    3
c    4
d    5
Name: 2019-01-14 00:00:00, dtype: int32

a    6
b    7
c    8
d    9
Name: 2019-01-15 00:00:00, dtype: int32

             a   b   c   d
2019-01-14   2   3   4   5
2019-01-15   6   7   8   9
2019-01-16  10  11  12  13
2019-01-17  14  15  16  17

 

 

结合前面两种方法：通过标签和下标来选择

mixed selection:ix

date1= pd.date_range('20190114',periods=6)
df=pd.DataFrame(np.arange(2,26).reshape(6,4),index=date1,columns=['a','b','c','d'])
print(df)
print(df.ix[0:3,['a','b']])

 

             a   b   c   d
2019-01-14   2   3   4   5
2019-01-15   6   7   8   9
2019-01-16  10  11  12  13
2019-01-17  14  15  16  17
2019-01-18  18  19  20  21
2019-01-19  22  23  24  25

             a   b
2019-01-14   2   3
2019-01-15   6   7
2019-01-16  10  11

　　

 

 

条件选择

date1= pd.date_range('20190114',periods=6)
df=pd.DataFrame(np.arange(2,26).reshape(6,4),index=date1,columns=['a','b','c','d'])
print(df)
print(df[df.a>8])#前面的df为范围，后面的df.a选择‘a’列
print(df[df['b']==11])
print(df[(df.a==10)&(df.c==12)])
print(df.a[df.b>8])

　　

             a   b   c   d
2019-01-14   2   3   4   5
2019-01-15   6   7   8   9
2019-01-16  10  11  12  13
2019-01-17  14  15  16  17
2019-01-18  18  19  20  21
2019-01-19  22  23  24  25

             a   b   c   d
2019-01-16  10  11  12  13
2019-01-17  14  15  16  17
2019-01-18  18  19  20  21
2019-01-19  22  23  24  25

             a   b   c   d
2019-01-16  10  11  12  13
             a   b   c   d

2019-01-16  10  11  12  13

2019-01-16    10
2019-01-17    14
2019-01-18    18
2019-01-19    22
Freq: D, Name: a, dtype: int32

　

 

 

行操作

基本操作

date1= pd.date_range('20190114',periods=6)
df=pd.DataFrame(np.arange(2,26).reshape(6,4),index=date1,columns=['a','b','c','d'])
print(df)
# 查看前几行或者后几行，如果不指定参数，默认五行
print(df.head(3))
print(df.tail(2))
#print(df.loc['a'])
#查看指定行，可以通过下标和标签两种形式指定
print(df[0:1])
print(df['2019-01-14':'2019-01-17'])
# 也可以使用使用iloc
# print(df.iloc[0])
# print(df.iloc[1])
# print(df.iloc[0:4])

 

 

             a   b   c   d
2019-01-14   2   3   4   5
2019-01-15   6   7   8   9
2019-01-16  10  11  12  13
2019-01-17  14  15  16  17
2019-01-18  18  19  20  21
2019-01-19  22  23  24  25

             a   b   c   d
2019-01-14   2   3   4   5
2019-01-15   6   7   8   9
2019-01-16  10  11  12  13

             a   b   c   d
2019-01-18  18  19  20  21
2019-01-19  22  23  24  25

            a  b  c  d
2019-01-14  2  3  4  5

             a   b   c   d
2019-01-14   2   3   4   5
2019-01-15   6   7   8   9
2019-01-16  10  11  12  13
2019-01-17  14  15  16  17

 

添加一行
date1= pd.date_range('20190114',periods=6)
df=pd.DataFrame(np.arange(2,26).reshape(6,4),index=date1,columns=['a','b','c','d'])
print(df)
date={'a':49,'b':34,'c':12,'d':98}#添加的一行数据
s=pd.Series(date)#生成一维的pd数据
##一定要给行命名，才能添加成功
s.name='2019-01-20 00:00:00'
df=df.append(s)#添加
print(df)

 

 

             a   b   c   d
2019-01-14   2   3   4   5
2019-01-15   6   7   8   9
2019-01-16  10  11  12  13
2019-01-17  14  15  16  17
2019-01-18  18  19  20  21
2019-01-19  22  23  24  25
                      a   b   c   d
2019-01-14 00:00:00   2   3   4   5
2019-01-15 00:00:00   6   7   8   9
2019-01-16 00:00:00  10  11  12  13
2019-01-17 00:00:00  14  15  16  17
2019-01-18 00:00:00  18  19  20  21
2019-01-19 00:00:00  22  23  24  25
2019-01-20 00:00:00  49  34  12  98

 

 

删除一行

 

没有标签的情况，使用下标删除

df = pd.DataFrame(np.arange(12).reshape(3,4), columns=['A', 'B', 'C', 'D'])
print(df)
#Drop rows by index
# df=df.drop([0]) #删除第一行
# df=df.drop([1,2]) #删除2、3行
# print(df)

 

有标签的情况，使用标签删除

df = pd.DataFrame(np.arange(12).reshape(3,4),index=['a','b','c'],columns=['A', 'B', 'C', 'D'])
print(df)
#Drop rows by index
# df=df.drop(['a'])#删除第一行
# df=df.drop(['b','c'])#删除２和３行
print(df)

　　

在有时间序列的下标情况下，使用下标和标签的方法 ，都会出错，暂时不知道什么问题

date1= pd.date_range('20190114',periods=6)
df=pd.DataFrame(np.arange(2,26).reshape(6,4),index=date1,columns=['a','b','c','d'])
df=df.drop([1])
print(df)
df=df.drop(['2019-01-15'])
print(df)

 

 

 

列操作

date1= pd.date_range('20190114',periods=6)
df=pd.DataFrame(np.arange(2,26).reshape(6,4),index=date1,columns=['a','b','c','d'])
print(df)
# print(df.columns) #输出所有列标签

# print(df['a']) #输出'a'这一列

# print(df['a'][1])#'a'列的第二行
# print(df['a'][:3]) #'a'列的第一行到第三行
# print(df[['a','b']])#'ａ'列与'b'列

　　

 

增加一列

date1= pd.date_range('20190114',periods=6)
df=pd.DataFrame(np.arange(2,26).reshape(6,4),index=date1,columns=['a','b','c','d'])
print(df)
print(df.columns)
df['序列']=range(1,len(df)+1)#添加新的列，首先要知道一列需要多少个元素，再按要求生成
print(df)

　

 

删除某一列

date1= pd.date_range('20190114',periods=6)
df=pd.DataFrame(np.arange(2,26).reshape(6,4),index=date1,columns=['a','b','c','d'])
print(df)
df=df.drop('序列',axis=1)

 

 

 

.drop()方法

需要注意的地方

drop方法既可以保留原数据块中的所选列，也可以删除，这取决于参数inplace

df = pd.DataFrame(np.arange(12).reshape(3,4),index=['a','b','c'],columns=['A', 'B', 'C', 'D'])
print(df)
# Drop rows by index
date3=df.drop(['a'])#删除第一行
print(date3)
print(df)

 

默认情况下，使用drop方法删除后，会返回被删除的一行，原数据也被删除

   A  B   C   D
a  0  1   2   3
b  4  5   6   7
c  8  9  10  11

   A  B   C   D
b  4  5   6   7
c  8  9  10  11

   A  B   C   D
a  0  1   2   3
b  4  5   6   7
c  8  9  10  11

　　

 

当inplace=True时.drop()执行内部删除，不返回任何值，原数据发生改变

df = pd.DataFrame(np.arange(12).reshape(3,4),index=['a','b','c'],columns=['A', 'B', 'C', 'D'])
print(df)
# Drop rows by index
date3=df.drop(['a'],inplace=True)#删除第一行
print(date3)
print(df)

　　

运行结果显示没有输出被删除的一行，为none，原数据被删除

   A  B   C   D
a  0  1   2   3
b  4  5   6   7
c  8  9  10  11
None
   A  B   C   D
b  4  5   6   7
c  8  9  10  11

　　

 

 

.pop()方法

.pop方法可以将所选列从原数据块中弹出，原数据块不再保留该列

df = pd.DataFrame(np.arange(12).reshape(3,4),index=['a','b','c'],columns=['A', 'B', 'C', 'D'])
print(df)
date=df.pop('A')
print(date)
print(df)

 

结果显示弹出'A'列，并删除

   A  B   C   D
a  0  1   2   3
b  4  5   6   7
c  8  9  10  11

a    0
b    4
c    8
Name: A, dtype: int32

   B   C   D
a  1   2   3
b  5   6   7
c  9  10  11

　　

转载于:https://www.cnblogs.com/-wenli/p/10271475.html

weixin_34326429
关注
Pandas的创建及选择数据操作
yali_shiduode的博客
04-19 196
Pandas的创建以及数据选择操作，通过例子进行学习 #1.通过pd.Series()列表创建pandas.core.series.Series s1 = pd.Series(['3','6','10','21'],index=['A','B','C','D']) s1 A 3 B 6 C 10 D 21 dtype: object #2.通过pd.Series()及...
机器学习【Pandas介绍、数据结构、基本数据操作、DataFram运算】
weixin_43923463的博客
07-30 972
2008年WesMcKinney开发出的库专门用于数据挖掘的开源python库以Numpy为基础，借力Numpy模块在计算方面性能高的优势基于matplotlib，能够简便的画图独特的数据结构​func自定义函数​axis=0默认是列，axis=1为行进行运算定义一个对列，最大值-最小值的函数float64lambdax，将x.max()-x.min()的结果返回给x，使用lambda关键字定义。...
Pandas - 创建数据结构和基本属性、排序
杨老师的小跟班(*∩_∩*)
07-15 316
Pandas 初学者- 创建数据结构(Series、DataFrame)和基本属性、排序 详细介绍
2、pandas数据创建
weixin_45052608的博客
06-21 486
实例：一维数组Series import pandas as pd #默认索引 data = pd.Series([1,2,3]) print('data:') print(data.index) print(data.values) print(data) print(data[2]) print(data*2) print(4 in data) print(2 in data) print('\n') #自制索引 data1 = pd.Series(['a','b','c'],index=['x','.
【Pandas 入门-1】数据的创建/读取/存储/查看/修改
天天向上的专栏
08-10 689
pandas 是 Python 做统计分析时最重要的数据分析工具之一，它基于 numpy 开发，提供了许多处理大型数据集所需的函数，可以灵活高效的处理各种数据集。在修改 pandas 的 DataFrame 数据时，将 pandas 的索引位置赋值为新的值。里面跟着相邻两个行索引的方式，例如 df[0:1] 显示第 1 行的数据，而 df[1:2] 显示第 2 行的数据。，它不仅能查看多行多列数据，也能查看单行、单列或某个单元格数据。上面的图形中，第一行是列标题，第一列是行标题，可以分别通过。
3.机器学习—数据科学包3.3pandas操作
12-21
通过以上知识点的学习，可以深入理解和掌握Pandas在数据科学中的核心功能，为机器学习和其他数据分析任务提供坚实的基础。在实际项目中，应结合具体需求灵活运用这些工具，进行高效的数据预处理和探索性数据分析。
pandas数据筛选和csv操作的实现方法
09-19
### pandas数据筛选与CSV操作详解 #### 一、pandas数据筛选 在处理大量数据时，数据筛选是一项基本而重要的技能。pandas 提供了多种方法来进行数据筛选，包括单条件筛选、多条件筛选以及基于索引的筛选。 ##### ...
pandas库中的基本数据结构.pdf
最新发布
07-01
本文档主要介绍`pandas`库中的两种基本数据结构——Series和DataFrame，并通过示例展示它们的创建方式及其基本操作。 #### 二、Series ##### 1. 概念 `Series`是`pandas`提供的一个一维数据结构，可以容纳任何类型...
pandas数据生成与读写
weixin_46415275的博客
12-02 1942
Pandas 基本操作生成与读写操作数据生成（DataFrame 与 Series)DataFrameSeries读写数据文件索引、选择与赋值基于索引的选择基于标签（label)的选择条件选择赋值 生成与读写操作 数据生成（DataFrame 与 Series) Pandas有两个对象(object): DataFrame 与 Series DataFrame 是一个表，它包括了一系列的条目（其实就是表头），以及对应的值（value)。每一个条目对应一行与一列 DataFrame ## 创建一个DataFr
pandas指南-1.数据创建与读写
yangshaojun1992的博客
06-12 353
数据创建，读写指南 任何数据分析项目的第一步都可能是从某个文件中读取数据，因此我们需要首先考虑这一点。 在本节中，我们将介绍有关创建pandas Series和DataFrame对象的练习 官方pandas文档的IO Tools部分提供了有关此主题的全面概述 首先我们来导入pandas库 import pandas as pd 创建数据 pandas中有两个核心对象：DataFrame和Series。 DataFrame是一个表。 它包含一系列单独的条目，每个条目都有一定的值。 每个条目对应一
图解Pandas，创建数据对象 | 图文第2篇
Python数据之道
03-14 1993
01写在前面大家好，我是阳哥，欢迎来到「Python数据之道」。本次是《图解Pandas》系列图文内容的 第 02 篇，主要是对Pandas中 创建数据对象 进行介绍。本文是付费阅读文章，...
pandas - DataFrame 基本操作（创建、遍历、查询、增加行、增加列、loc更新数据、iloc更新数据、删除、排序）
weixin_42115865的博客
07-05 5801
pandas - DataFrame 创建、遍历、更新行、更新列、增加行、增加列、删除、排序
pandas学习日志1--生成数据表、选择数据、设置值(nan)
taiyuezyh的博客
10-04 625
本文参考资料-----【莫烦Python】 系列教程。
Pandas对象的创建
liupc的学习笔记
02-25 390
点击此处返回总目录 参考： 1.https://blog.c...
【数据分析】——pandas
qq_34229228的博客
04-12 6337
文章目录一、生成pandas二、pandas行索引号、列索引号、数值索引及固有属性。三、Panda索引补充：多重索引，将二维变一维，三维变二维五、pandas运算六、pandas处理丢失数据（如nan数据）七、合并八、文件的存取补充：**时间日期：**时间重采样Pandas分组计算Pandas 聚合函数 pandas核心数据结构：https://blog.csdn.net/qq_34229228/article/details/102519937 一、生成pandas 生成pandas 作用
图解Pandas，创建数据对象的几种方法
Python数据之道
07-18 199
-------- End --------精选内容图解Pandas-图文01-数据结构介绍图解Pandas-图文02-创建数据对象图解Pandas-图文03-读取和存储Excel文件图解Pandas-图文04-常见的数据访问图解Pandas-图文05-常见的数据运算图解Pandas-图文06-常见的数学计算图解Pandas-图文07-常见的数据统计图解Pandas-图文0...
pandas数据获取和创建
m0_63808770的博客
07-13 210
9 外部数据获取 dataframe数据框创建pandas.DataFrame( data, index, columns)data：一组数据(ndarray,series,tuple, lists, dict 等类型)。index：索引值，或者可以称为行标签。columns：列标签，默认为 RangeIndex (0, 1, 2, …, n) 。10.1.0.1 列表创建 10.1.0.2 元祖创建 10.1.0.3 序列Series创建 10.1.0.4 字典创建...
pandas用法整理
2303_76508712的博客
04-09 388
data=pd.read_csv（r'数据包地址'，encoding='gbk或者utf-8'）1.导入pandas库，一般都会用到numpy库：（import pandas as pd。2. 数据表基本信息（维度、列名称、数据格式、所占空间等）：df.info。pivot_table() 方法可以帮助我们创建有用的数据透视表。6.查看前五行数据：df.head（5）4.查看数据表的值：df.values。5.查看列名称：df.columns。1.维度查看：df.shape。3.空值：df.isnull。
Python pandas入门：数据结构与创建
"Python数据分析之pandas学习是一篇深入介绍如何使用pandas库进行数据处理和分析的文章。pandas是Python中一个强大的数据处理库，它主要围绕两个核心数据结构：Series和DataFrame展开。Series是类似于NumPy数组的一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值