Pandas（一）—— Pandas基础

已于 2022-05-07 12:44:16 修改
阅读量2.4k 收藏 13
点赞数 4
分类专栏： Python # python模块 文章标签： python
于 2022-05-07 11:48:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42330887/article/details/124557526
版权

Python模块 —— Pandas

Pandas（一）—— Pandas基础

大家可以关注知乎或微信公众号的share16，我们也会同步更新此文章。

一、预备知识

   我们之前学到的一些知识，在pandas中也会应用到，我们在此总结一下：

1.1 Python基础

  • 各种推导式，如列表/元组推导式等，我们在以前的文章中可以了解到，如：‘ Python基础（三/四）—— XXX的创建 ’版块中可以查询到；
  • 函数，如def、lambda、map等，我们可以在‘ Python基础（五）’这篇文章中查询到；
  • zip对象与enumerate方法：zip函数能够把多个可迭代对象打包成一个元组构成的可迭代对象，它返回了一个zip对象，通过tuple、list可以得到相应的打包结果；enumerate是一种特殊的打包，它可以在迭代时绑定迭代元素的遍历序号；
# zip函数 
l1 = 'abc';l2 = 'def';l3 = 'ghi';
print(zip(l1,l2,l3), list(zip(l1,l2,l3)), tuple(zip(l1,l2,l3)), sep='\n\n')
for x,y,z in zip(l1,l2,l3):
    print(x,y,z)

# enumerate函数
for i in enumerate(l1):
    print(i)    
for m,n in enumerate(l1):
    print(m,n)

# 当需要对两个列表建立字典映射时，可以利用zip对象
dict(zip(l1,l2))

1.2 NumPy基础

  • 创建数组、数组的变形和合并；补充：对于二维数组而言，r_和c_分别表示上下合并和左右合并，如：np.r_[a,b]和np.c_[a,b]；
  • 常用函数，如：where、nonzero/argmax/argmin、any/all、mean/std/var/cov/corrcoef等；向量与矩阵的计算；
  • 以上，我们可以在‘ NumPy ’文章中查询到；

1.3 练习

1.3.1 利用列表推导式写矩阵乘法
import numpy as np
a = np.random.randint(5, 15, (2,3))
b = np.random.randint(6, 18, (3,4))

# 创建一个m行n列的数组
res = np.empty((a.shape[0], b.shape[1])) 

for i in range(a.shape[0]):
    for j in range(b.shape[1]):
        res[i][j] = sum(a[i,:]*b[:,j]) # a的第i行 乘以 b的第j列
print('a是：\n{}\n\nb是：\n{}\n\n矩阵乘法是：\n{}\n'.format(a,b,res))

if np.allclose(np.dot(a,b),res ):
    print('结果没有问题。')
else:
    print('结果有问题，请再检查一下。')
1.3.2 更新矩阵

在这里插入图片描述

import numpy as np
a = np.arange(1,16).reshape(3,-1)
b = np.empty(a.shape)

for i in range(len(a)):
    for j in range(len(a[i])):
        b[i][j] = a[i][j] * sum(np.reciprocal(a[i], dtype=float)) 
        #注：此处要定义dtype
        # 等价于 b[i][j] = a[i][j] * sum(1/a[i])

print(a, b, sep='\n\n')
1.3.3 连续整数的最大长度

在这里插入图片描述

import numpy as np
a = np.array(eval(input('请输入正整数，用英文逗号分隔：')))

while a.dtype != int:
    print('输入的数据不是正整数，请重新输入！')
    a = np.array(eval(input('请输入正整数，用英文逗号分隔：'))) 

b = np.nonzero( np.diff(a) != 1)[0] #返回非零元素的索引
c = np.split(a,b+1)  # 分隔数组
lst = [len(i) for i in c] # 列表推导式
for m,n in enumerate(lst):
    if n == max(lst):
        print(c[m], len(c[m]))

二、Pandas基础

2.1 文件的读取和写入

   读取：read_csv、read_excel、read_table等；
   写入：to_csv、to_excel等；
在这里插入图片描述

2.2 基本数据结构

2.2.1 Series

   Pandas Series 类似表格中的一个列，类似于一维数组，可以保存任何数据类型。

Series 函数如下：pd.Series(data,index,dtype,name,copy)

  • index：数据索引标签，如果不指定，默认从 0 开始；
  • dtype：数据类型，默认会自己判断；
  • name：赋予Series 名称；
  • copy： 拷贝数据，默认为 False；

dir(pd.Series)：查看Series的相关属性/函数

import numpy as np
import pandas as pd 

x = [[1,2,3],[4,5,6]]

'''  data：是列表 '''
a = pd.Series(x, index=['a','b'], name='matrix', copy=False)
print(a, end='\n\n')

''' data：是数组，数组必须是一维的 '''
b = pd.Series(np.array(x)[0])
print(b, end='\n\n')

''' data：是字典 '''
print(pd.Series(dict(zip(x[0], x[1]))), pd.Series(dict(enumerate(x))), sep='\n\n')

# 运行结果
# a    [1, 2, 3]
# b    [4, 5, 6]
# Name: matrix, dtype: object

# 0    1
# 1    2
# 2    3
# dtype: int64

# 1    4
# 2    5
# 3    6
# dtype: int64

# 0    [1, 2, 3]
# 1    [4, 5, 6]
# dtype: object

print(a.values, a.index, a.shape, a['a'], sep='\n\n')
# [list([1, 2, 3]) list([4, 5, 6])]
# Index(['a', 'b'], dtype='object')
# (2,)
# [1, 2, 3]
2.2.2 DataFrame

   DataFrame 是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型(数值、字符串、布尔型等)。DataFrame 既有行索引也有列索引，它可以被看做由 Series 组成的字典(共同用一个索引)。

DataFrame 函数如下：pd.DataFrame(data,index,columns,dtype,copy)

  • index：行标签/行索引；
  • columns：列标签/列索引；
  • dtype：数据类型；
  • copy：拷贝数据，默认为 False；

dir(pd.DataFrame)：查看DataFrame的相关属性/函数

import numpy as np
import pandas as pd 

x = [[1,2,3],[4,5,6]]

'''  data：是列表 '''
a = pd.DataFrame(x, index=['a','b'], columns=['A','B','C'], copy=False)
print(a, end='\n\n')

''' data：是数组，数组是一维/二维的 '''
b = pd.DataFrame(np.array(x))
print(b, end='\n\n')

''' data：是字典 '''
print(pd.DataFrame(dict(enumerate(x))), sep='\n\n')

# 运行结果
#    A  B  C
# a  1  2  3
# b  4  5  6

#    0  1  2
# 0  1  2  3
# 1  4  5  6

#    0  1
# 0  1  4
# 1  2  5
# 2  3  6

print(a.values, a.index, a.columns, a.shape, sep='\n\n')
# [[1 2 3]
#  [4 5 6]]
# Index(['a', 'b'], dtype='object')
# Index(['A', 'B', 'C'], dtype='object')
# (2, 3)

2.3 常用基本函数

在这里插入图片描述在这里插入图片描述

2.4 窗口函数

   pandas中有3类窗口，分别是滚动窗口rolling、扩张窗口expanding以及指数加权窗口ewm。
在这里插入图片描述

2.4.1 滚动窗口

   要使用滑窗函数（即滚动窗口），就必须先要对一个序列使用.rolling得到滑窗对象，其最重要的参数为窗口大小window。
   在得到了滑窗对象后，能够使用相应的聚合函数进行计算，需要注意的是窗口包含当前行所在的元素，例如在第四个位置进行均值运算时，应当计算(2+3+4)/3，而不是(1+2+3)/3。

import pandas as pd 
a = pd.DataFrame([[4,6,9],[3,4,5]], columns=['A', 'B','C'])
rol = a.rolling(1)
print(a, rol, sep='\n\n')

# >>    A  B  C
# >> 0  4  6  9
# >> 1  3  4  5

# >> Rolling [window=1,center=False,axis=0,method=single]
2.4.2 扩张窗口

   扩张窗口又称累计窗口，可以理解为一个动态长度的窗口，其窗口的大小就是从序列开始处到具体操作的对应位置，其使用的聚合函数会作用于这些逐步扩张的窗口上。具体地说，设序列为a1, a2, a3, a4，则其每个位置对应的窗口即[a1]、[a1, a2]、[a1, a2, a3]、[a1, a2, a3, a4]。

rol = a.expanding()
print(rol)
# >> Expanding [min_periods=1,center=False,axis=0,method=single]
2.4.3 指数加权窗口
rol = a.ewm(com=0.5)
print(rol)
# >> ExponentialMovingWindow [com=0.5,min_periods=1,adjust=True,ignore_na=False,axis=0,method=single]

2.5 练习

2.5.1 口袋妖怪数据集

现有一份口袋妖怪的数据集点此下载，下面进行一些背景说明：

  • #代表全国图鉴编号，不同行存在相同数字则表示为该妖怪的不同状态；
  • 妖怪具有单属性和双属性两种，对于单属性的妖怪，Type 2为缺失值；
  • Total、HP、Attack、Defense、Sp.Atk、Sp.Def、Speed，分别代表：种族值、体力、物攻、防御、特攻、特防、速度，其中种族值为后6项之和；

问题：
1.  对HP、Attack、Defense、Sp.Atk、Sp.Def、Speed进行加总，验证是否为Total值；

import pandas as pd 
df = pd.read_csv('/XXXXX/Desktop/data/口袋妖怪.csv',encoding='Windows-1252')

# 获取多列，以列表形式表达，有2个[[]]
# 新增一列用 df['xxx'] ；若在原数据修改，用 df['xxx']或df.xxx 都行
df['total_new'] = df[['HP', 'Attack', 'Defense','Sp.Atk', 'Sp.Def', 'Speed']].sum(axis=1)

# 1.对HP···Speed加总，验证是否为Total值 
if (df.Total != df.total_new).sum() ==0:
    print('ans1：Total值没问题')
else:
    print('ans1：Total值有问题')

# >> ans1：Total值没问题

2.  对于#重复的妖怪只保留第一条记录，解决以下问题：
  2.1 求第一属性的种类数量和前三多数量对应的种类
  2.2 求第一属性和第二属性的组合种类

# 删除#重复的数据且只保留第一条记录
df_drop = df.drop_duplicates('#',keep='first')
del df_drop['total_new'] # 删除某列

# 2.1 第一属性的种类数量和前三多数量对应的种类
print('第一属性的种类数量：{}\n'.format(df_drop['Type1'].nunique()))
print('前三多数量对应的种类：\n{}\n'.format(df_drop['Type1'].value_counts().head(3)))

''' df_drop['Type1'].value_counts().head(3)
   等价于 
   df_drop.value_counts('Type1').head(3) '''

# >> 第一属性的种类数量：18
# >> 前三多数量对应的种类：
# >> Water     105
# >> Normal     93
# >> Grass      66
# >> Name: Type1, dtype: int64

# 2.2 第一属性和第二属性的组合种类
df_drop[['Type1','Type2']].drop_duplicates().shape[0]
# >> 143

3.  按照下述要求，构造Series：
  3.1 取出物攻，超过120的替换为high，不足50的替换为low，否则设为mid
  3.2 取出第一属性，分别用replace和apply替换所有字母为大写
  3.3 求每个妖怪六项能力的离差，即所有能力中偏离中位数最大的值，添加到df并从大到小排序

# 3.1 取出物攻，超过120的替换为high，不足50的替换为low，否则设为mid
# 方法一
df_drop['Attack'].mask(df_drop.Attack>120,'high').mask(df_drop.Attack<50,'low').mask(((df_drop.Attack>=50)&(df_drop.Attack<=120)),'mid').unique()
# 方法二
df_drop['Attack'].where(df_drop.Attack<=120,'high').where(df_drop.Attack>=50,'low').where((df_drop.Attack<50)|(df_drop.Attack>120),'mid').unique()

# 3.2 取出第一属性，分别用replace和apply替换所有字母为大写
df_drop.Type1.apply(lambda x : x.upper())
df_drop['Type1'].replace([i for i in df_drop['Type1']],  [i.upper() for i in df_drop['Type1']])
df_drop['Type1'].replace( { i:str.upper(i)  for i in df_drop['Type1'] } )
df_drop['Type1'].replace( { i:str.upper(i)  for i in df_drop['Type1'].unique() } )

# 3.3 求每个妖怪六项能力的离差，即所有能力中偏离中位数最大的值，添加到df并从大到小排序
df['deviation'] = (df[['HP', 'Attack', 'Defense','Sp.Atk', 'Sp.Def', 'Speed']].apply(lambda x : (x - x.median()).abs())).max(axis=1)
df.sort_values('deviation', ascending=False)
2.5.2 复习小知识
2.5.2.1 获取文件在电脑中的地址

   以Mac为例，打开‘终端’ ➔ 把需要的文件拖到终端窗口中 ➔ 松开鼠标 ➔ 就能获得地址

2.5.2.2 获取文件在电脑中的编码方式

   详见此链接文章中16.1 打开文件版块

import chardet
f = open('文件路径', 'rb')    # 以二进制模式读取文件
data =f.read()              # 获取文件内容
print(chardet.detect(data)) # 检测文件内容
# >> {'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}
2.5.2.3 numpy和pandas中的where的区别

numpy和pandas中的where的用法是相反的

np.where(condition[,x,y])

  • 满⾜条件(condition)，输出x，不满⾜输出y。
  • 只有条件 (condition)，没有x和y，则输出满⾜条件的元素的索引(类似于numpy.nonzero)。

a.where(cond, other,···)

  • a是Series或DataFrame
  • 如：a.where(a>10,‘low’)
  • 满足条件，输出a，不满足输出low

a.mask(cond, other,···)

  • a是Series或DataFrame
  • 如：a.mask(a>10,‘low’)
  • 满足条件，输出low，不满足输出a

谢谢大家🌹

share16
关注
  • 4
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python实现矩阵相乘的三种方法小结
12-24
问题描述 分别实现矩阵相乘的3种算法，比较三种算法在矩阵大小分别为22∗2222∗22, 23∗2323∗23, 24∗2424∗24, 25∗2525∗25, 26∗2626∗26, 27∗2727∗27, 28∗2828∗28, 29∗2929∗29时的运行时间与MATLAB自带的矩阵相乘的运行时间，绘制时间对比图。 解题方法 本文采用了以下方法进行求值：矩阵计算法、定义法、分治法和Strassen方法。这里我们使用Matlab以及Python对这个问题进行处理，比较两种语言在一样的条件下，运算速度的差别。 编程语言 Python 具体代码 #-*- coding: utf-8 -*-
矩阵相乘的实现方法
weixin_46047216的博客
05-24 1507
矩阵相乘问题作为一个工作中科研中常用的简单计算问题，在处理大批量数据任务中显得尤为重要。目前不论是基于pytorch还是tensorflow的深度学习框架，数据的表示基础就是tensor，也就是张量，二阶张量中就包含着矩阵；众所周知，矩阵乘法：矩阵相乘最重要的方法是一般矩阵乘积。本文章内容也只谈论一般矩阵乘积。它只有在第一个矩阵的列数（column）和第二个矩阵的行数（row）相同时才有意义。本文依然采用二维列表来表示矩阵。 例如实现矩阵A(25)和矩阵B(52)的乘积： A: 1 2 3 4 5 6 7
numpy乘积运算
驽马十驾，功在不舍；锲而不舍，金石可镂。
05-14 2770
本文通过例子，对matrix/array格式的乘积运算进行总结。 1.关于乘积的三种操作 * np.dot() np.multiply() 2.一维matrix/array m,n=np.array([1,2]),np.array([2,3]) a,b=np.mat([1,2]),np.mat([2,3]) 2.1 使用* m*n Out: array([2, 6]) a*b Out: ValueError: shapes (1,2) and (1,2) not aligned: 2 (d
pandas dataframe选取某行或列做元素相乘
Cmmmmm丶的博客
10-08 1万+
dataframe整体做乘法时，不需要借助其他方法，直接a*b即可 >>> import pandas as pd >>> import numpy as np >>> a = pd.DataFrame([1,2,3]) >>> b = pd.DataFrame([2,5,3]) >>> a*b 0 0 2 1 10 2 9 但是，如果想要选取某行或某列做乘法，要使用loc方法，此时则会变成矩阵乘法
大整数乘法和Strassen矩阵乘法
COST_97的博客
05-19 804
1.大整数乘法 由于python语言可以实现任意精度的乘法，故这里采用python语言实现常规算法与分治算法的时间效率。结果如下图： 常规算法与分治算法的时间效率 横轴表示相乘两数的位数，纵轴表示常规算法与分治算法分别所用的时间。可以看到，常规算法的时间效率虽然偶尔有些小幅度的波动，但是基本上呈指数增长的趋势。而分治算法的时间效率随着位数的增加，其波动幅度在增大，但是整体趋势却没有出现明显增长的...
pandas的简单介绍和数据结构
xiaoliu的博客
05-07 1477
pandas简单介绍 一、python数据分析三剑客： numpy pandas Matplotlib 二、介绍三剑客： 1.Numpy：Python语言的一个扩展程序库，支持大量的维度数据与矩阵运算，针对数组提供大量的数学函数库 2.pandas：是一个强大的分析结构化数据的工具集；它的使用基础是Numpy（提供高性能的矩阵运算）；用于数据挖掘和数据分析，同时也提供数据清洗功能。 3.Matplotlib：是一个python绘图包 三、pandas的安装 1、下载使用Python类库集成安装包 2、pi
Numpy/Pandas常用函数
IT OR 考公？
03-06 1161
《Python机器学习》第3次记录
Pandas 矩阵运算
热门推荐
Claroja
03-23 2万+
DataFrame.add(other, axis=’columns’, level=None, fill_value=None) DataFrame.sub(other, axis=’columns’, level=None, fill_value=None) DataFrame.mul(other, axis=’columns’, level=None, fill_value=None)
pandas的乘法
Ztomepic的博客
04-07 8952
今天有个刚学pandas的朋友问了我关于矩阵乘的问题，我发现自己好久没用pandas已经忘了。写代码试验后才想起来，记下笔记，防止又忘了。。 重点： 1.元素乘：df1*df2, df1.mul(df2) 2.矩阵乘：df1.dot(df2) a = np.array([[1, 2, 3], [4, 5, 6]]) b = np.array([[1,2], ...
Pandas案例——–PM2.5数据统计
12-22
文章目录数据读取数据整理PeriodIndex函数—-时间段优化 ...数据读取 ...import pandas as pd file_path = "./BeijingPM2.5.csv" df = pd.read_csv(file_path) print(df.head()) print(df.info()) N
Pandas——concat（合并）
12-22
pandas处理多组数据的时候往往会要用到数据的合并处理,使用 concat是一种基本的合并方式.而且concat中有很多参数可以调整,合并成你想要的数据形式. 2.垂直合并（axis = 0） axis=0是预设值，因此未设定任何参数时，...
pandas基础——文件读取与写入、基本数据结构、常用基本函数、排序、总结练习
12-21
快速浏览pandas简单介绍和本系列说明一、csv、txt、xls或xlsx文件读取与写入1. 读取与写入csv格式2. 读取与写入txt格式3. 读取与写入xls或xlsx格式二、基本数据结构1. SeriesSeries创建访问Series属性Series调用方法...
Pandas——练习题二——数据集
07-25
博客中Pandas练习题数据集。user数据集与chipotle.csv数据集
pandas实战——对星巴克数据的分析-附件资源
03-02
pandas实战——对星巴克数据的分析-附件资源
SpringBoot中实现发送邮件
最新发布
m0_64289188的博客
04-30 354
当你添加了spring-boot-starter-mail依赖后，Spring Boot会自动配置JavaMailSender实例，并根据application.yml文件中的属性来配置这个实例。你可以直接在需要发送邮件的地方通过@Autowired注解将JavaMailSender实例注入到你的类中，然后使用它来发送邮件。：首先，需要在你的pom.xml文件中添加Spring Boot的邮件发送器依赖。，简化了在Spring Boot应用程序中发送电子邮件的设置过程。Spring Boot的。
Day25-Java基础之常用类1
m0_46053885的博客
04-27 869
同时我们发现Math类中的方法都是静态的，因此在使用的时候我们可以直接通过类名去调用。对于计算机而言，其实是没有数据类型的概念的，都是0101010101，数据类型是编程语言自己规定的，所以在实际存储的时候，先把具体的数字变成二进制，每32个bit为一组，存储在数组中。比较内存地址值一般情况下是没有意义的，我们希望比较的是对象的属性，如果两个对象的属性相同，我们认为就是同一个对象；如果我们的数据是一个浮点类型的数据，有的时候计算机并不会将这个数据完全转换成一个二进制数据，而是将这个将其转换成一个无限的。
链表刷题集
yajunjiao的专栏
04-30 269
本文主要列举了一些刷的题，不多，有那么几道，也建议各位去建立自己的刷题集。积少成多。
AttributeError: module ‘numpy‘ has no attribute ‘float‘.的解决方法
chen_znn的博客
04-30 256
本文记录了AttributeError: module 'numpy' has no attribute 'float'.的解决方法
pandas库to——json
09-12
pandas库中的`to_json`函数可以将数据转换为JSON格式。您可以使用`to_json`函数将pandas的Series、DataFrame或Panel对象转换为JSON字符串或保存为JSON文件。以下是一个示例： ```python import pandas as pd # 创建一个DataFrame示例 data = {'name': ['Alice', 'Bob', 'Charlie'], 'age': [25, 30, 35], 'city': ['New York', 'Paris', 'London']} df = pd.DataFrame(data) # 将DataFrame转换为JSON字符串 json_string = df.to_json() print(json_string) # 将DataFrame保存为JSON文件 df.to_json('data.json') ``` 这是一个简单的示例，您可以根据自己的数据和需求进行相应的调整。请注意，转换后的JSON字符串或文件中的数据将包含索引和列名。如果需要排除索引或列名，可以在调用`to_json`函数时指定`orient`参数的值，例如`orient='records'`。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值