Pandas学习（一）

最新推荐文章于 2024-04-19 09:06:46 发布
最新推荐文章于 2024-04-19 09:06:46 发布
阅读量87 收藏
点赞数 2
分类专栏： Python 数据分析基础 文章标签： pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46123285/article/details/134914253
版权
本文详细介绍了pandas库在Python中的使用，包括数据导入、DataFrame和Series操作、数据清洗、排序、筛选、图表制作（如柱状图、饼图、折线图等）以及直方图和密度图。通过实例展示了如何使用pandas进行数据分析和可视化。
摘要由CSDN通过智能技术生成

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

提示：这里可以添加本文要记录的大概内容：

一、pandas是什么？

pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。

二、使用步骤

1.引入库

代码如下（示例）：

import pandas as pd
import warnings
warnings.filterwarnings('ignore')
import  ssl

2.读入数据

代码如下（示例）：

data = pd.read_csv(
    'https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv')
print(data.head())

该处使用的url网络请求的数据。

3.读取数据

import pandas as pd

classes = pd.read_excel('D:/DateExercise/wl2231.xlsx')
print(classes.shape) #显示出多少行多少列(41, 3)
print(classes.columns)#打印出列 Index(['学号', '姓名', 'pu总分'], dtype='object')
print(classes.head())#head()不写参数默认打印前五行
print("========================================")
print(classes.tail(3))  #打印后3行数据

提示：读取错误数据，有脏header时：第一行不是想要的特征
在这里插入图片描述

import pandas as pd
classes = pd.read_excel('D:/DateExercise/wlcuowei.xlsx',header=1)
print(classes.columns)

提示：读取数据若head错位，即学号，姓名等上一行为空的，不用加header=1也可识别正确特征

提示：读取数据无header的处理方法

import pandas as pd
classes = pd.read_excel('D:/DateExercise/wl2231noheader.xlsx',header=None)#header=None后，打印结果为Index([0, 1], dtype='int64')
classes.columns=['学号','姓名'] #自己添加
print(classes.columns) #打印结果为Index(['学号', '姓名'], dtype='object')
classes.to_excel('D:/DateExercise/output.xlsx')
print('Done')

提示：读取数据时为避免输出数据重复索引，一般会标明索引

import pandas as pd
classes=pd.read_excel('D:/DateExercise/output1.xlsx',index_col='ID') #索引为ID
classes.to_excel('D:/DateExercise/output2.xlsx')
print('Done')

三、具体用法

1.新建DataFrame

代码如下（示例）：

import pandas as pd
df = pd.DataFrame({'ID':[1,2,3],'Name':['sun','tom','sunny']})
print(df)
#结果是
   ID   Name
0   1    sun
1   2    tom
2   3  sunny

在这里插入图片描述
提示：把ID设置为新索引：
代码如下（示例）：

import pandas as pd

#df = pd.DataFrame()

df = pd.DataFrame({'ID':[1,2,3],'Name':['sun','tom','sunny']})
df = df.set_index('ID')
print(df)

#结果是  ID成了新的索引
     Name
ID       
1     sun
2     tom
3   sunny

2.创建serises

import pandas as pd

# 方法一：用字典转换
# d={'x':100,'y':200,'z':300}
# s1=pd.Series(d) #把字典的key转为series的index,字典的value转为data
# print(s1)
# print(s1.index)

L1 = [100,200,300]
L2 = ['X','Y','Z']
s1 = pd.Series(L1,index=L2)
print(s1)

#结果是
X    100
Y    200
Z    300
dtype: int64

3.用serises模拟表格

import pandas as pd​
s1 = pd.Series([1,2,3],index=[1,2,3],name='A')
s2 = pd.Series([10,20,30],index=[1,2,3],name='B')
s3 = pd.Series([100,200,300],index=[1,2,3],name='C')
​df = pd.DataFrame({s1.name:s1,s2.name:s2,s3.name:s3})#以dataframe方式加入
print(df)
#结果是
#    A   B    C
# 1  1  10  100
# 2  2  20  200
# 3  3  30  300

import pandas as pd​
s1 = pd.Series([1,2,3],index=[1,2,3],name='A')
s2 = pd.Series([10,20,30],index=[1,2,3],name='B')
s3 = pd.Series([100,200,300],index=[1,2,3],name='C')
​df = pd.DataFrame([s1,s2,s3])  #用list方法是把每个序列看作一行
print(df)
#结果是
#      1    2    3
# A    1    2    3
# B   10   20   30
# C  100  200  300

4.serises实现自动填充

源数据
在这里插入图片描述在这里插入图片描述

import pandas as pd
#from datetime import data,timedelta
from datetime import date
from datetime import timedelta

def add_month(d,md):
    yd = md // 12   # 计算需要添加的年数
    m = d.month + md % 12  # 计算新的月份
    if m != 12:
        yd += m //12   # 将新的月份除以12的商加到年数上
        m = m % 12
    return date(d.year+yd,m,d.day)
'''
d：这是一个日期对象（来自Python的datetime模块），代表您想要添加月份的日期。
md：这是一个整数，表示您想要添加到日期d的月份数量。
'''

books = pd.read_excel('D:/DateExercise/books.xlsx',skiprows=3,usecols='C:F',index_col=None,dtype={'ID':str,'InStore':str,'Date':str})#原本是float，把NaN转换int会报错
print(type(books['ID']))  #<class 'pandas.core.series.Series'>
# books['ID'].at[0]=100
# print(books['ID'])
start = date(2023,12,6)
for i in books.index :
    books['ID'].at[i] = i+1
    # books.at[i,'ID'] = i+1
    books['InStore'].at[i] = 'Yes' if i % 2 == 0 else 'No'
   # books['Date'].at[i] = start + timedelta(days=i)  #加日期
    #books['Date'].at[i] = date(start.year + i,start.month,start.day)
    books['Date'].at[i] = add_month(start,i)
print(books)

5.函数填充计算列

在这里插入图片描述要求：把ListPrice价钱加2，然后计算Price,自动填充部分价格
在这里插入图片描述

import pandas as pd

def add_2(x):
    return  x+2

books=pd.read_excel('D:/DateExercise/book1.xlsx',index_col='ID')

#books['ListPrice']=books['ListPrice']+2  #把价格+2
#books['ListPrice']=books['ListPrice'].apply(lambda x:x+2)
books['ListPrice']=books['ListPrice'].apply(add_2)


# books['Price']=books['ListPrice']*books['Discount']
'''
for i in books.index:
    books['Price'].at[i] = books['ListPrice'].at[i]*books['Discount'].at[i]
'''

for i in range(5,16):
    books['Price'].at[i] = books['ListPrice'].at[i]*books['Discount'].at[i]

print(books)

6.pandas实现排序

源数据如下：
在这里插入图片描述要求：保持价值高的情况下，价格从高到低降序排列
在这里插入图片描述

import pandas as pd

products=pd.read_excel('D:/DateExercise/paixu.xlsx',index_col='ID')
products.sort_values(by=['Worthy','Price'],inplace=True,ascending=[False,False]) #ascending=False是从高到低排序
print(products)

7.pandas实现过滤筛选

源数据如下：
在这里插入图片描述要求：找出年龄在18-30岁，成绩在85-100的学生

import pandas as pd

'''def age_18_to_30(a):
   return 18 <= a < 30
def level_a(s):
   return 85 <= s <= 100
'''
infromation=pd.read_excel('D:/DateExercise/information.xlsx',index_col='ID')
#infromation=infromation.loc[infromation.Age.apply(age_18_to_30)].loc[infromation.Score.apply(level_a)]
#infromation=infromation.loc[infromation['Age'].apply(age_18_to_30)].loc[infromation['Score'].apply(level_a)]

infromation=infromation.loc[infromation.Age.apply(lambda a:18 <= a < 30)] \
   .loc[infromation.Score.apply(lambda s:85 <= s <= 100)]
print(infromation)

8.pandas实现柱状图从高到低

在这里插入图片描述

import pandas as pd
import matplotlib.pyplot as plt

students=pd.read_excel('D:/DateExercise/students.xlsx')
students.sort_values(by='Number',inplace=True,ascending=False)
print(students)
#students.plot.bar(x='Field',y='Number',color='orange',title='International Students by Field')

#用matplotlib来绘图
plt.bar(students.Field,students.Number,color='orange')
plt.xticks(students.Field,rotation=90) #将Field反转展开
plt.xlabel('Field')  #X轴标签
plt.ylabel('Number')  #y轴标签
plt.title('International Students by Field')
plt.tight_layout()#紧凑型
plt.show()

9.pandas实现柱状图比较

在这里插入图片描述

import pandas as pd
import matplotlib.pyplot as plt

students = pd.read_excel('D:/DateExercise/studentsyouhua.xlsx')
students.sort_values(by=2023,inplace=True,ascending=False)#inplace=True不会生成新的DataFrame,ascending=False从大到小排序
print(students)
students.plot.bar(x='Field',y=[2022,2023],color=['orange','red'])
plt.title('International Students by Field',fontsize=16,fontweight='bold')
plt.xlabel('Field',fontweight='bold')
plt.ylabel('Number',fontweight='bold')

#标签倾斜45度
ax = plt.gca()
ax.set_xticklabels(students['Field'],rotation=45,ha='right')

#左边留白，下面留白
f=plt.gcf()
f.subplots_adjust(left=0.2,bottom=0.62)
#plt.tight_layout() #将标签完全展示出来
plt.show()

10.pandas实现叠加柱状图

在这里插入图片描述要求：把用户每月使用量累加进行排序
在这里插入图片描述

import pandas as pd
import matplotlib.pyplot as plt

users = pd.read_excel('D:/DateExercise/users.xlsx')
users['Total']=users['Oct']+users['Nov']+users['Dec']
users.sort_values(by='Total',inplace=True,ascending=True)
print(users)

#barh是横向排列
users.plot.barh(x='Name',y=['Oct','Nov','Dec'],stacked=True,title='User Behavior')#stacked=True是把Oct,Nov,Dec累加起来
plt.tight_layout()
plt.show()

11.pandas实现饼图

饼状图实现，不仅反映数量还反映占百分比。
提示：2016旁边的',这个‘是用来表示字符串，为防止在pandas里被当作数值
在这里插入图片描述

import pandas as pd
import matplotlib.pyplot as plt

'''
1、导入相关库，读取数据
2、找一个serise画饼图
3、优化饼图（字体，标题）
4、pandas的饼图是逆时针比例，excel是顺时针

'''
#index_col='From'绘制出来的图才是国家地区名字
granduaters = pd.read_excel('D:/DateExercise/granduaters.xlsx',index_col='From')
print(granduaters)

#counterclock=False顺时针   [counterclock=False,startangle=-270]没有变化？？？？
granduaters['2017'].plot.pie(fontsize=0,counterclock=False,startangle=-270)
plt.title('Source of International Students')
plt.ylabel('2017',fontsize=12,fontweight='bold')

granduaters['2017'].plot.pie()
plt.show()

12.pandas实现折线图和叠加区域图

折线图是看趋势，往往是时间趋势。叠加区域图，除了能看到趋势外，还能看到在某个点上所有值叠加起来的效果

叠加柱状图着重表达在某一个点上这些值叠加起来是什么值，叠加折线图是一个趋势，在某个阶段是上升还是下降

提示：选中一个单元格，Ctrl+G选择数据定位即可选中所有单元格
在这里插入图片描述在这里插入图片描述

import pandas as pd
import matplotlib.pyplot as plt

weeks=pd.read_excel('D:/DateExercise/weeks.xlsx',index_col='Week')
print(weeks)
print(weeks.columns)

#折线图
#weeks.plot(y=['Accessories','Bikes','Clothing','Components'])

#叠加区域图
#weeks.plot.area(y=['Accessories','Bikes','Clothing','Components'])

#叠加柱状图
weeks.plot.bar(y=['Accessories','Bikes','Clothing','Components'],stacked=True)
plt.title('Sates Weekly Trend',fontsize=16,fontweight='bold')
plt.ylabel('Total',fontsize=12,fontweight='bold')
plt.xticks(weeks.index,fontsize=8)#本间隔太大，把横轴重铺一遍
plt.show()

13.pandas实现散点图

import pandas as pd
import matplotlib.pyplot as plt
house = pd.read_csv('D:/DateExercise/train_data.csv')
#把所有列都展示出来
pd.options.display.max_columns=777

house.plot.scatter(y='民宿评分',x='价格')
plt.show()
print(house.head())

14.pandas实现直方图

在这里插入图片描述

import pandas as pd
import matplotlib.pyplot as plt
house = pd.read_csv('D:/DateExercise/train_data.csv')
#把所有列都展示出来
pd.options.display.max_columns=777

house.plot.hist(y='价格',bins=100)  #bins用于细化

plt.show()

15.pandas实现密度图

在这里插入图片描述

—丫丫
关注
专栏目录
【pandas学习笔记(一)】pandas基本使用
12-21
pandas是一个基于numpy的数据处理库，其主要的用途为数据分析及其处理，特别是序列及表格数据 引入pandas库 >>> import numpy as np >>> import pandas as pd pandas库经常与numpy库一起配合使用 创建序列 创建序列...
Pandas学习笔记整理.pdf
03-06
Pandas是一个强大的Python数据分析库，它提供了高性能、易用的数据结构和数据分析工具。基于Numpy构建，Pandas提供了两个主要的数据结构：Series和DataFrame。Series是一维标签数组，能够保存任何数据类型（整数、...
pandas学习-01下载
qq_37590979的博客
01-06 1220
这里用的是pycharm的环境所以可以在pycharm的terminal进行包的安装。今天遇到了一些做表的问题,因为比较懒所以打算学习下pandas。然后就是一堆遇到的一堆新人问题,这里记录一下和相关的解决方法。这样目前的坑先踩到这里.
pandas学习
思维缜密的博客
07-07 2437
excel 单个sheet 不写sheet_name默认读第一个 多个sheet 写入 csv excel 单个sheet sheet_name不写默认Sheet1 多个sheet if_sheet_exists表示已经存在这个sheet之后的行为，有四种 插入/修改一行 插入末尾 不是每一列都要填数据 插入任意行 比如第k行 (不是每一列都要填数据) 修改一行 修改单元格 求平均 行 如果要添加进取的话 列 暂时没用到，再说把......
Pandas学习总结
weixin_52527244的博客
05-30 5042
介绍 Pandas 是非常著名的开源数据处理库，我们可以通过它完成对数据集进行快速读取、转换、过滤、分析等一系列操作。除此之外，Pandas 拥有强大的缺失数据处理与数据透视功能，可谓是数据预处理中的必备利器。 知识点 数据类型 数据读取 数据选择 数据删减 数据填充 数据类型 Pandas 的数据类型主要有以下几种，它们分别是：Series（一维数组），DataFrame（二维数组），Panel（三维数组），Panel4D（四维数组），PanelND（更多维数组）。其中 Series 和
pandas/python 一个实战小案例
2302_76282232的博客
04-19 1295
上次写坦克游戏的时候，接触了一点pandas，当时只是简单了解了一下如何遍历行和列并获取值来替换图片，想更多了解pandas。正好有一些数据需要筛选，试试能不能用通过代码实现。
pandas学习笔记之DateFrame
m0_73721001的博客
10-29 4916
参数名称 说明 data 输入的数据，可以是 ndarray，series，list，dict，标量以及一个 DataFrame。 index 行标签，如果没有传递 index 值，则默认行标签是 np.arange(n)，n 代表 data 的元素个数。 columns 列标签，如果没有传递 columns 值，则默认列标签是 np.arange(n)。 dtype dtype表示每一列的数据类型。 copy 默认为 False，表示复制数据 data。 2）由二维列表创建(默
Pandas库学习
Lilo_的博客
07-14 1943
一、Pandas是什么 Pandas 是 Python 语言的一个扩展程序库，用于数据分析。 Pandas 一个强大的分析结构化数据的工具集，基础是 Numpy（提供高性能的矩阵运算）。 Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导入数据。 Pandas 可以对各种数据进行运算操作，比如归并、再成形、选择，还有数据清洗和数据加工特征。 二、Pandas 的安装和使用 pip install pandas # 通过pip命令安装 import pand
pandas学习笔记之Series
m0_73721001的博客
10-28 2737
如代码所示，可以直接对Series结构进行加减乘除运算符，当出现index不匹配的情况时会输出NaN。类似list，通过append方法能够在原Series上插入（追加）新的Series。若只在原Series上插入单个值，则采用赋值方式即可。数据切片的概念源于Numpy数组，Series对象使用类似NumPy中ndarray的数据访问方法实现切片操作。可以直接通过赋值的方法修改Series中的对应值。nunique()返回去重后的元素个数。unique()返回去重后的元素值。如果 data 是标量值，则。
Pandas入门知识学习
weixin_45588852的博客
03-16 2034
目录Pandas基础知识学习一、数据处理对象Pandas中的数据结构SeriesDataFrame二、读取CSV格式数据读取CSV查看前n行查看后n行修改列名三、排序操作对索引进行排序按行排序按值排序四、删除操作五、基本的算术运算算术运算（+，-，*，/）六、去重操作duplicated()drop_duplicates()七、层次化索引层次化索引索引方式内层选取数据重塑 Pandas基础知识学习 Pandas比较适合处理结构化的数据，如序列数据，表格数据等，例如csv文件，利用pandas可以快速的对数据
Pandas 学习
ZgaoYi的博客
08-10 660
Pandas 学习
pandas学习笔记
phily123的博客
09-18 6334
一、访问某列 df[‘video_frame’] 二、添加一列 df[‘game_play’] 三、drop_duplicates() 添加链接描述 作用： 去除重复项。 用法： DataFrame.drop_duplicates(subset=None, keep=‘first’, inplace=False) 参数： subset : column label or sequence of labels, optional 用来指定特定的列，默认所有列 keep : {‘first’, ‘last’,
pandas库学习报告.docx
04-11
### pandas库学习报告 #### 一、pandas简介 pandas 是一个强大的 Python 库，专为数据分析设计。它建立在 NumPy 基础之上，提供了一系列高级数据结构和数据分析工具，使得处理数据变得更加简单高效。pandas 的核心...
pandas学习资料
07-09
**Pandas学习资料详解** Pandas是Python编程语言中用于数据处理和分析的重要库，它提供了高效的数据结构，如DataFrame和Series，使得数据清洗、转换、统计分析等工作变得轻松便捷。以下将根据提供的文件名，解析出...
考研复习-英语二真题考试题集-带答案
09-14
英语二考研真题复习资料，带答案版
2024中美独角兽公司发展分析报告.pdf
09-14
全球各大洲独角兽企业分布、中美独角兽企业对比（数量、估值、新增及退榜情况、行业分布、所在城市）、
C++ 中的异步编程模型是什么
09-14
在C++中，异步编程模型是处理并发任务、提高程序性能和响应性的关键技术。以下是C++中实现异步编程的几种主要方式： 每种异步编程模型都有其适用场景和优缺点。选择合适的模型可以提高代码的可读性、可维护性和性能。随着C++标准的不断发展，异步编程模型也在不断进化，为开发者提供了更多的工具和选择。 在实际开发中，应根据具体需求选择合适的异步编程模型。例如，对于简单的异步任务，回调函数可能是最直接的选择；而对于需要结构化错误处理和结果获取的复杂异步任务，std::async和std::future可能更合适；在需要高效资源管理的场景下，线程池是一个不错的选择；而对于需要编写大量异步代码的现代应用程序，协程提供了一种更简洁、更直观的解决方案。 总之，C++中的异步编程模型是多核和高并发环境下提高程序性能的重要工具。通过合理使用这些模型，开发者可以构建出更高效、更可靠的软件系统。
正则表达式Regex是一种文本模式.docx
最新发布
09-14
正则表达式（Regular Expression，简称Regex或Regexp）是一种文本模式，包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为"元字符"）。正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。正则表达式是强大的文本处理工具，广泛用于搜索、编辑或操作文本和数据。 基本组成 普通字符：大多数字符，包括所有大写和小写字母、所有数字、所有标点符号和一些其他符号，都是普通字符。正则表达式中的普通字符表示它们自身。例如，正则表达式test会匹配字符串"test"。 特殊字符（元字符）：一些字符在正则表达式中具有特殊的意义，如^、$、.、*、+、?、{、}、[、]、|、\等。这些特殊字符用于表示在搜索文本时要匹配的一个或多个字符。例如，.匹配除换行符之外的任何单个字符。 字符类：字符类允许你指定一组字符中的任何一个字符。例如，[abc]匹配"a"、"b"或"c"中的任意一个字符。你也可以使用范围，如[a-z]匹配任何小写字母。 预定义字符类：正则表达式提供了一些预定义字符类，用于匹配常见的字符集合。例如，\d匹配任何数字（等价于[0-9]），\s匹配任
基于struts+sqlserver网络购物系统毕业课程源码设计+论文资料
09-14
编号：150 系统功能： 展示网站最新的商品信息。 展示网站特价的商品信息。 为用户提供修改个人资料和查看在网站操作情况的平台。 提供用户在网站上购物的平台。 展示网站发布的公告信息。 展示商品的销量排行。 展示网站的友情链接信息。 对商品详细信息以及分类信息进行管理。 对用户基本资料、交易制度、消费情况及留言信息进行管理。 对用户提交的订单进行管理。 对管理员信息、网站公告信息、商业资讯信息及友情链接信息进行管理。 系统运行稳定，具有强大的数据处理能力。 操作注意事项 （1）本系统的用户名为：admin，密码为：admin （2）admin管理员的信息不能删除。 （3）用户注册登录后，可进行商品购买、商品信息查看以及订单查询操作。 （4）后台登陆地址：http://localhost:8080/WebShopping/bg-land.jsp。
pandas学习路线
04-02
当你开始学习pandas时，以下是一个简单的学习路线： 1. 学习Python基础知识：在使用pandas之前，建议先掌握Python的基本语法和数据结构，例如列表、字典和函数等。 2. 安装pandas库：使用pip或conda等工具安装...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值