python之pandas（一）

最新推荐文章于 2024-06-10 15:53:13 发布
最新推荐文章于 2024-06-10 15:53:13 发布
阅读量911 收藏 8
点赞数 2
分类专栏： python 文章标签： python pandas Series DataFrame 抓取数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sxau_zhangtao/article/details/98505602
版权

pandas

  1. pandas是一种Python数据分析的利器，是一个开源的数据分析包，最初是应用于金融数据分析工具而开发出来的，因此pandas为时间序列分析提供了很好的支持。pandas是PyData项目的一部分。
  2. pandas中主要有两种数据结构，分别是：Series和DataFrame。
    (1) Series：一种类似于一维数组的对象，是由一组数据(各种NumPy数据类型)以及一组与之相关的数据标签(即索引)组成。仅由一组数据也可产生简单的Series对象。注意：Series中的索引值是可以重复的。
    (2)DataFrame：一个表格型的数据结构，包含有一组有序的列，每列可以是不同的值类型(数值、字符串、布尔型等)，DataFrame即有行索引也有列索引，可以被看做是由Series组成的字典。

Series

Series属性

常见属性有values（获取值）、index（获得索引值）、dtype（获得类型）

import pandas as pd
import numpy as np
# SERIES属性
print('值',ser01.values)
print('索引值',ser01.index)
print('类型',ser01.dtype)
ser01 = pd.Series([1,2,3,4,5])
ser01

值 [1 2 3 4 5]
索引值 RangeIndex(start=0, stop=5, step=1)
类型 int64

0    1
1    2
2    3
3    4
4    5
dtype: int64

利用series创建一个二维数组

# 利用series创建一个二维数组
ser02=pd.Series(np.array([[1,2,3,4],[1,2,3,4,5]]))  
# 表示将numpy里array创建多维数组的方法，嵌套到series里，创建多维数组
print('值',ser02.values)
print('索引值',ser02.index)
print('类型',ser02.dtype)
ser02

值 [list([1, 2, 3, 4]) list([1, 2, 3, 4, 5])]
索引值 RangeIndex(start=0, stop=2, step=1)
类型 object

0       [1, 2, 3, 4]
1    [1, 2, 3, 4, 5]
dtype: object

为索引index起名称

ser03=pd.Series([100,22,99,66])

  • ser03打点调用index方法

    • .index=[‘数学’,‘英语’,‘语文’,‘综合’]—>改写方便，数据可读性，可维护性
    • .index=[u’数学’,u’英语’,u’语文’,u’综合’] —> u其实是series里面的一个标识符关键字，和索引的位置一样—大量使用

  • 直接一步写完

    • ser04=pd.Series(data=[100,22,99,66],dtype=np.float64,index=[‘数学’,‘英语’,‘语文’,‘综合’])
# 为索引index起个名称
ser03=pd.Series([100,22,99,66]) 
# ser03.index=['数学','英语','语文','综合']  # 改写方便，数据可读性，可维护性
ser03.index=[u'数学',u'英语',u'语文',u'综合'] 
 # u其实是series里面的一个标识符关键字，和索引的位置一样---大量使用
print('ser03')
print(ser03)
print()
# 企业另一种写法
ser04=pd.Series(data=[100,22,99,66],dtype=np.float64,index=['数学','英语','语文','综合'])
print('ser04')
print(ser04)

ser03
数学    100
英语     22
语文     99
综合     66
dtype: int64

ser04
数学    100.0
英语     22.0
语文     99.0
综合     66.0
dtype: float64

结果

（1）series通过下标index获取值，并且Series是创建

（2）pandas里下标索引一般叫数据标签，是在AI、python数据分析、大数据、数据挖掘里获取数据集的核心标签。数据标签不分数据大小，可获得1行数据也可以获得海量数据。

（3）因为series只能创建一维数组，如果要创建二维数组，必须导入numpy模块，利用np.array（多维数组）----形成维度空间-矩阵

（4）ser04=pd.Series(date=[100,22,99,66],dtype=np.float64,index=[‘数学’,‘英语’,‘语文’,‘综合’]) # series有4个参数，data是数据 dtype类型根据项目要求定义数据类型，series默认是整型，index直接赋值。备注：不建议将data和index分开写，建议使用上述方法。

通过字典方式创建series多维数组

import pandas as pd
import numpy as np
# 通过字典方式创建series多维数组
dict01=({'1001':'张三','1002':'李四','1003':'王麻子'})  # 字典存放键值对-通过key取值
ser06=pd.Series(dict01)  # 将字典数据传到series中，形成矩阵
ser06

print('字典创建的值：',ser06.values)
print('字典创建的索引：',ser06.index)


字典创建的值： ['张三' '李四' '王麻子']
字典创建的索引： Index(['1001', '1002', '1003'], dtype='object')

获取series值的方法：

  • 通过方括号+索引的方式读取对应索引的数据，有可能返回多条数据
  • 通过方括号+下标值的方式读取对应下标值的数据，下标值的取值范围为：(0，len(Series.values))；另外下标值也可以是负数，表示从右往左获取数据
  • 通过numpy的ndarray的切片机制
    series获取多个值得方法类似numpy的bdarray切片操作,通过[]+下标值/索引值+冒号（:）的形式获取series对象的一部分
    ser.index=[""""""] print（ser[0:2]） 通过切片可以获取维度，矩阵的值！
  • 切片的两种操作：
    • print(ser01[0:2])—通过下标值
    • print(ser01[‘a’:‘c’])–通过索引值
  1. 方括号+下标值
# 方括号+下标值
ser07=pd.Series(['A','B','C','D'])
# ser07(0) #  'Series' object is not callable
ser07[0]

'A'
  1. 方括号+索引
# 方括号+索引
ser08=pd.Series(['A','B','C','D'])
ser08.index=(['a','b','c','d'])    
ser08['a']

'A'
  1. 通过numpy的ndarray的切片机制
ser09=pd.Series(['A','B','C','D'])
ser09.index=(['a','b','c','d']) 
# 通过下标值
print(ser09[0:2])
# 通过索引值
print(ser09['a':'c'])

a    A
b    B
dtype: object
a    A
b    B
c    C
dtype: object

Series的运算

NumPy中的数组运算，在Series中都保留了，均可以使用，并且Series进行数组运算的时候，索引与值之间的映射关系不会发生改变。

ser=pd.Series({
    '201612348':1000,
    '201612347':999,
    '201612346':666,
    '201612345':555
})
print(ser)
print('------------->----------')
print(ser[ser>666])
print('-------------/----------')
print(ser/10)
print('-------------+----------')
print(ser+1)
print('------------------------')
ser01=pd.Series([-1,-2,-3,-4])
print(ser01)
print('-------指数函数-------')
print(np.exp(ser01))
print('-------绝对值---------')
print(np.fabs(ser01))

201612348    1000
201612347     999
201612346     666
201612345     555
dtype: int64
------------->----------
201612348    1000
201612347     999
dtype: int64
-------------/----------
201612348    100.0
201612347     99.9
201612346     66.6
201612345     55.5
dtype: float64
-------------+----------
201612348    1001
201612347    1000
201612346     667
201612345     556
dtype: int64
------------------------
0   -1
1   -2
2   -3
3   -4
dtype: int64
-------指数函数-------
0    0.367879
1    0.135335
2    0.049787
3    0.018316
dtype: float64
-------绝对值---------
0    1.0
1    2.0
2    3.0
3    4.0
dtype: float64

Series缺失值检测

  1. 什么是缺失值？
    没有被赋值
  2. 确实和不赋值的区别：
    （1） 不赋值----空指针异常
    （2）缺失----程序不会报空指针异常，也不会报程序异常，会用NaN填充
  3. isnull和notnul这两个函数可以用在Series中检查缺失值，这两个函数的返回是一个布尔类型的Series
    （1）snull 表示字典里有缺失值的判断，有缺失值返回true反之false 返回的是bool类型
    （2） notnull 表示字典里有缺失值的判断，有缺失值返回false反之true 返回的是bool类型
  • 缺失值检测
# 缺失值检测
ser16=pd.Series({'1001':'a','1002':'b','1003':'c'})
ser16
ser17=pd.Series(ser16,index=['1001','1002','1008'])
ser17

1001      a
1002      b
1008    NaN
dtype: object
  • isnull和notnul
ser16=pd.Series({'1001':'a','1002':'b','1003':'c'})
ser16
ser17=pd.Series(ser16,index=['1001','1002','1008'])
ser17
# isnull
pd.isnull(ser17)  
# notnull
pd.notnull(ser17) 

1001    False
1002    False
1008     True
dtype: bool
1001   True
1002    True
1008     False
dtype: bool

Series自动对齐

当多个series对象之间进行运算的时候，如果不同series之间具有不同的索引值，那么运算会自动对齐不同索引值的数据，如果某个series没有某个索引值，那么最终结果会赋值为NaN。

  1. 自动对齐是基于一个列表元素或者多维数据的–矩阵/矩阵乘积
  2. 原理：通过Series自动匹配index所对应的值，有匹配的值和index，按照原数据打印数据！如果对应位置没有index值，那么用NAN填充。—数据的安全、易维护。
  • 顺序不同
# 顺序不同
ser18=pd.Series([1,2,3,4],index=['a','b','c','d'])
ser18
ser19=pd.Series([10,20,30,40],index=['d','c','b','a'])
ser18+ser19


a    41
b    32
c    23
d    14
dtype: int64
  • 没有某个索引值
# 没有某个索引值
ser20=pd.Series([1,2,3,4],index=['a','b','c','d'])
ser20
ser21=pd.Series([10,20,30,40],index=['d','c','b','f'])
ser20+ser21

a     NaN
b    32.0
c    23.0
d    14.0
f     NaN
dtype: float64

Series及其索引的name属性

Series对象本身以及索引都具有一个name属性，默认为空，根据需要可以进行赋值操作。

ser22=pd.Series({‘1001’:‘a’,‘1002’:‘b’,‘1003’:‘c’})

  1. ser22.name=‘字母’----直接调用name不方便数据阅读，不利于程序员去解析数据！不建议
  2. ser22.index.name=‘小写字母’ —利用index索引充当列名称，键key对应的是index，index属性的值在第一位置–第一列===就是一个数据的title，所以阅读清晰，数据解析很明确。
# series的name属性
ser22=pd.Series({'1001':'a','1002':'b','1003':'c'})
ser22.name='字母'
ser22.index.name='小写字母'
print(ser22)

小写字母
1001    a
1002    b
1003    c
Name: 字母, dtype: object

DataFrame

通过二维数组创建

df01=pd.DataFrame([['tony','marry','tom'],[18,20,25]])
print(df01)

      0      1    2
0  tony  marry  tom
1    18     20   25

arr=np.array([
    ['小雪',16],
    ['刘星',12],
    ['夏东海',35]
])
df02=pd.DataFrame(arr,index=['one','two','three'],columns=['name','age'])
print(df02)
print('值：',df02.values)
print('index:',df02.index)

      name age
one     小雪  16
two     刘星  12
three  夏东海  35
值： [['小雪' '16']
 ['刘星' '12']
 ['夏东海' '35']]
index: Index(['one', 'two', 'three'], dtype='object')

通过字典创建

data={
    'apart':['101','102','103','104'],
    'month':['8月','9月','12月','6月'],
    'year':[2000,1999,2019,1998],
    'age':[18,20,15,23]
}
df03=pd.DataFrame(data)
# 重置index的值
df03.index=['01','02','03','04']
print(df03)

   apart month  year  age
01   101    8月  2000   18
02   102    9月  1999   20
03   103   12月  2019   15
04   104    6月  1998   23

索引对象

  1. 定义：索引对象就是不直接操作index，而是将index通过其他数据标签及逆行操作数据的完整过程！数据完全可以读写操作！
  2. 索引对象也可以利用面向对象对象思想理解–万物皆为对象–可以利用任何数据标签充当index操作数据。
  3. 不管是Series还是DataFrame对象，都有索引对象。
  4. 数据抓取方式：
  • 列
    • 直接通过列索引获取制定列的数据。 df04.名称 df04[‘名称’]
    • 添加数据给列–原始数据几条就匹配添加几条。新添加的多了报数据大小不匹配。df[‘名称’]=[值]
    • 删除数据，利用pop函数 df06.pop(‘名称’)
    • 修改列数据，直接通过字段名称赋值修改。df[‘名称’]=[值]
  • 行
    • 通过ix获取行数据
    • 通过loc获取 df.loc[] df.loc[0,’’]==df.loc[0][’’]
    • 添加行 df.ix[]=[] df.loc[]=[]
    • 修改行 df.ix[]=[] df.loc[]=[]

总结：不管是ix loc 都是通过index取值

抓取列数据

  • 获取列数据
# 抓取列数据
df04=pd.DataFrame([['tom',22],['marry',18],['tony',20]],columns=['姓名','成绩'])
print(df04)
print()
print(df04.姓名) # 等价于df04['姓名']

      姓名  成绩
0    tom  22
1  marry  18
2   tony  20

0      tom
1    marry
2     tony
Name: 姓名, dtype: object
  • 添加列数据
df05=pd.DataFrame([['tom',22],['marry',18],['tony',20]],columns=['姓名','成绩'])
# 添加列数据
df05['性别']=['男','女','男']
df05

  姓名  成绩 性别
0    tom  22  男
1  marry  18  女
2   tony  20  男
  • 删除列数据
df06=pd.DataFrame([['tom',22],['marry',18],['tony',20]],columns=['姓名','成绩'])
print(df06)
# 删除列数据
df06.pop('成绩')
print(df06)

      姓名  成绩
0    tom  22
1  marry  18
2   tony  20
      姓名
0    tom
1  marry
2   tony
  • 修改列数据
df07=pd.DataFrame([['tom',22],['marry',18],['tony',20]],columns=['姓名','成绩'])
# 修改列数据
df07['成绩']=[99,88,100]
print(df07)

      姓名   成绩
0    tom   99
1  marry   88
2   tony  100

抓取行数据

  • 获取行数据
df08=pd.DataFrame([['tom',22],['marry',18],['tony',20]],columns=['姓名','成绩'])
# 获取行数据
print('ix:',df08.ix[0])
print('loc:',df08.loc[1])

ix: 姓名    tom
成绩     22
Name: 0, dtype: object
loc: 姓名    marry
成绩       18
Name: 1, dtype: object
  • 添加行数据
df08=pd.DataFrame([['tom',22],['marry',18],['tony',20]],columns=['姓名','成绩'])
# 添加行
df08.ix[3]=['bob',10]
print(df08)
df08.loc[4]=['gun',100]
print(df08)

      姓名  成绩
0    tom  22
1  marry  18
2   tony  20
3    bob  10
      姓名   成绩
0    tom   22
1  marry   18
2   tony   20
3    bob   10
4    gun  100
  • 修改行数据
# 修改行
df08=pd.DataFrame([['tom',22],['marry',18],['tony',20]],columns=['姓名','成绩'])
df08.loc[4]=['Gun',100]
print(df08)

      姓名   成绩
0    tom   22
1  marry   18
2   tony   20
3    bob   10
4    Gun  100
sxau_zhangtao
关注
专栏目录
Python之 Pandas数据处理
01-24
在Python的世界里，Pandas库是进行数据处理和分析的核心工具，尤其适合初学者和专业人士。Pandas提供了高效且易用的数据结构，如DataFrame和Series，使得数据操作变得简单直观。 1. **Pandas库的安装与数据读写** ...
多维数组的创建与操作
05-06 463
多维数组的创建与操作 引入模块 import numpy as np import pandas as pd 数组的创建 np.zeros( (m,n) , dtype=np.int16 ) # 创建 m*n 数组，全0 np.ones( (m,n) , dtype=np.int16 ) # 创建 m*n 数组，全1 np.array([1,2,3]) # 创建数组 操作 arr = np.append( arr,"内容" ) # 追加内容到末尾 np.max( arr ) # 数组中的最大值 np.
机器学习基础Numpy | Matplotlib | Pandas
qq_42138271的博客
05-12 223
Numpy 1.创建数组 通过给array函数传递Python的序列对象创建数组，如果传递的是多层嵌套的序列，将创建多维数组。 import numpy as np ＃创建数组 myarray = np.array([1, 2, 3]) print(myarray) print(myarray.shape) ＃创建多维数组 myarray = np.array([[1, 2, 3], [2, 3, 4], [3, 4, 5]]) print(myarray) print(myarray.shape
[educoder]Pandas安装与对象使用 初级
m0_46233342的博客
09-21 1882
文章目录第1关：安装并使用Pandas第2关：Pandas的Series对象第3关：Pandas的DataFrame对象第4关：Pandas的Index对象第1关：Series数据选择第2关：DataFrame数据选择方法 Pandas是在NumPy基础上建立的新程序库，提供了一种高效的 DataFrame数据结构。DataFrame本质上是一种带行标签和列标签、支持相同类型数据和缺失值的多维数组。Pandas不仅为带各种标签的数据提供了便利的存储界面，还实现了许多强大的操作，这些操作对数据库框架和电子表格
pythonobject转int_python – Pandas：将dtype’object’转换为int
weixin_39849054的博客
12-03 2109
我已经在Pandas中读取了一个SQL查询,并且这些值以dtype’object’形式出现,尽管它们是字符串,日期和整数.我能够将日期’对象’转换为Pandas datetime dtype,但是在尝试转换字符串和整数时遇到错误.这是一个例子：>>> import pandas as pd>>> df = pd.read_sql_query('select * ...
3.5万字，图解Python数据分析最强库Pandas(全是干货，建议收藏)
wangluoanquan152的博客
11-06 9452
大家好，在 Python 各个工具包中，最频繁使用的应该就是 Pandas 了。今天我以图解的方式给大家介绍 Pandas 中各种常用的操作，内容有点长，喜欢记得点赞、收藏、关注。
Python之Pandas知识点
02-24
SciPy：科学计算库，有一些高阶抽象和物理模型，在NumPy基础上，封装了一层，没有那么纯数学，提供方法直接计算结果；比如：做个傅立叶变换，这是纯数学的，用Numpy；做个滤波器，这属于信号处理模型了，用Scipy。...
Python3.7Pandas离线包
07-13
安装完成后，你就可以在Python环境中使用`import pandas as pd`来引入Pandas库，开始你的数据分析之旅。 总之，Python3.7 Pandas离线包为那些不能在线安装的用户提供了一种便捷的方式，使他们也能充分利用Pandas的...
python之pandas用法大全
12-24
一、生成数据表 1、首先导入pandas库，一般都会用到numpy库，所以我们先导入备用： import numpy as np import pandas as pd 2、导入CSV或者xlsx文件： df = pd.DataFrame(pd.read_csv('name.csv',header=1)) df =...
python之pandas简单介绍及使用（一）
weixin_30888413的博客
11-27 1万+
一、　　Pandas简介 1、Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一...
pandas根据行名称、列名称，得到对应的下标
weixin_42317631的博客
03-09 272
使用get_loc()的函数可以根据名称，得到下标索引
Pandas详解五之下标存取
yungeisme的博客
03-16 6576
约定 import pandas as pd import numpy as np 下标存取 Series和DataFrame提供了丰富的下标存取方法，除了直接用[ ],还有.loc[ ]、.iloc[ ]、.at[ ]、.iat[ ]和.ix[ ]等存取方式。 np.random.seed(42) df1=pd.DataFrame(np.random.ran...
Pandas安装与对象使用（educoder）
weixin_62174595的博客
10-07 3472
Python，头歌，pandas
Python数据分析实战：使用Pandas进行数据分析
libaiup的博客
09-12 5067
数据读取数据集成透视表数据聚合与分组运算分段统计数据可视化Pandas的使用很灵活，最重要的两个数据类型是DataFrame和Series。对DataFrame最直观的理解是把它当成一个Excel表格文件，如下：索引是从0开始的，也可以将某一行设置为index索引；missing value为缺失值。DataFrame的一列就是Series，Series可以转化为DataFrame，调用方法函数to_frame()即可。
Pandas数据预处理python 数据分析之4——pandas 预处理在线闯关_头歌实践教学平台
成长之路，任重道远，期待你的关注！
11-09 3201
本关任务：加载 csv 数据集，实现 DataFrame 合并。平台会对你的代码进行测试，若与预期输出一致，则算通关。平台会对你的代码进行测试，若与预期输出一致，则算通关。平台会对你的代码进行测试，若与预期输出一致，则算通关。本关任务：数据转换。包括数据标准化和数据离散化。根据提示，在右侧编辑器补充代码，完成本关任务。根据提示，在右侧编辑器补充代码，完成本关任务。根据提示，在右侧编辑器补充代码，完成本关任务。开始你的任务吧，祝你成功！开始你的任务吧，祝你成功！开始你的任务吧，祝你成功！
python中没有NULL
热门推荐
hellocsz的博客
03-19 4万+
Python中的NULL和None在python中是没有NULL的，取而代之的是None，它的含义是为空，但要注意和空列表与空字符串的区别，None的类型是Nonetype[python] view plain copy>>>a=None  >>>type(a)  <class 'Nonetype'>  另外，None是没有像len,size等属性的...
python关键字null
醉糊涂仙的博客
08-31 2771
python没有null关键字,和null效果相同的是None
Python之Pandas详解
最新发布
twg666的博客
06-10 4667
Pandas是Python语言的一个扩展程序库，用于数据分析。Pandas是一个开放源码、BSD许可的库，提供高性能、易于使用的数据结构和数据分析工具。
Python3--我的代码库之Pandas库之Series（一）
c_air_c的博客
07-27 582
1、什么是Series? 简单地讲，就是一组带标签的 数组。 由一组数据和与之相关的标签组成的一维数组对象 标签 值 a 1 b 2 c 3 d 4 2、Series的特征 数组中的数据类型可以为任意的数据类型； 数组中的数据一般为同一种数据类型。 3、创建Series 1....
Python pandas入门：数据结构与创建
"Python数据分析之pandas学习是一篇深入介绍如何使用pandas库进行数据处理和分析的文章。pandas是Python中一个强大的数据处理库，它主要围绕两个核心数据结构：Series和DataFrame展开。Series是类似于NumPy数组的一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值