pandas学习02

最新推荐文章于 2025-02-26 11:24:03 发布
最新推荐文章于 2025-02-26 11:24:03 发布
阅读量202 收藏
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45184653/article/details/105300686
版权 
import pandas as pd

import numpy as np

df=pd.read_excel('./pandas中的数据分组与透视表/data.xlsx')

df
日期名称类别单价数量金额
02018-07-01商品A服装20240
12018-07-02商品B服装2003600
22018-07-03商品C食品120044800
32018-07-04商品A服装225110
42018-07-05商品B服装22061320
52018-07-06商品C食品100077000
62018-07-07商品A服装30390
72018-07-08商品A服装8001800
82018-07-09商品C食品130045200
92018-07-10商品B服装2303690
102018-07-11商品A服装28128
grouped=df.groupby('类别')

grouped

<pandas.core.groupby.generic.DataFrameGroupBy object at 0x0000021B20F06888>

for name, data in grouped:
    print(name)
    print(data)

服装
           日期   名称  类别   单价  数量    金额
0  2018-07-01  商品A  服装   20   2    40
1  2018-07-02  商品B  服装  200   3   600
3  2018-07-04  商品A  服装   22   5   110
4  2018-07-05  商品B  服装  220   6  1320
6  2018-07-07  商品A  服装   30   3    90
7  2018-07-08  商品A  服装  800   1   800
9  2018-07-10  商品B  服装  230   3   690
10 2018-07-11  商品A  服装   28   1    28
食品
          日期   名称  类别    单价  数量    金额
2 2018-07-03  商品C  食品  1200   4  4800
5 2018-07-06  商品C  食品  1000   7  7000
8 2018-07-09  商品C  食品  1300   4  5200

grouped['数量','金额'].sum()
数量金额
类别
服装243678
食品1517000
grouped['单价'].max()
    

类别
服装     800
食品    1300
Name: 单价, dtype: int64

grouped=df.groupby(['类别','名称'])#通过类别名称分组
for i,k in grouped:
    print(i,k)

('服装', '商品A')            日期   名称  类别   单价  数量   金额
0  2018-07-01  商品A  服装   20   2   40
3  2018-07-04  商品A  服装   22   5  110
6  2018-07-07  商品A  服装   30   3   90
7  2018-07-08  商品A  服装  800   1  800
10 2018-07-11  商品A  服装   28   1   28
('服装', '商品B')           日期   名称  类别   单价  数量    金额
1 2018-07-02  商品B  服装  200   3   600
4 2018-07-05  商品B  服装  220   6  1320
9 2018-07-10  商品B  服装  230   3   690
('食品', '商品C')           日期   名称  类别    单价  数量    金额
2 2018-07-03  商品C  食品  1200   4  4800
5 2018-07-06  商品C  食品  1000   7  7000
8 2018-07-09  商品C  食品  1300   4  5200

grouped['单价'].max()
    

类别  名称 
服装  商品A     800
    商品B     230
食品  商品C    1300
Name: 单价, dtype: int64

grouped[['单价']].mean()
单价
类别名称
服装商品A180.000000
商品B216.666667
食品商品C1166.666667
grouped=df.groupby('类别')
for name, data in grouped:
    print(name)
    print(data['名称'].unique())

服装
['商品A' '商品B']
食品
['商品C']

time datetime

import time

time.time()#1970年1.1到现在调用的秒数 时间戳

1585909836.4156868

m=time.localtime(1585835029)

l=time.strftime('%Y--%m--%d %H:%M:%S',time.localtime(1585835029))#strptime str转化时间

time.mktime(m)

1585835029.0

from datetime import datetime

datetime.now()

datetime.datetime(2020, 4, 3, 18, 30, 36, 462421)

datetime.now().year

2020

m=datetime.now().strftime('%Y-%m-%d')
type(m)

str

l=datetime.strptime('2020-04-02','%Y-%m-%d')

datetime.fromtimestamp(1585835029.0)

datetime.datetime(2020, 4, 2, 21, 43, 49)

datetime.now().timestamp()

1585909836.51427

time.mktime(m)#str  m到现在的秒数

1585835029.0

datetime.now().timestamp()#到现在的时间戳

1585910834.269616

delta=datetime.now()-datetime(2018,5,21)

delta.days

683

pamdas 时间序列

pd.date_range('2020-3-1','2020-4-3')

DatetimeIndex(['2020-03-01', '2020-03-02', '2020-03-03', '2020-03-04',
               '2020-03-05', '2020-03-06', '2020-03-07', '2020-03-08',
               '2020-03-09', '2020-03-10', '2020-03-11', '2020-03-12',
               '2020-03-13', '2020-03-14', '2020-03-15', '2020-03-16',
               '2020-03-17', '2020-03-18', '2020-03-19', '2020-03-20',
               '2020-03-21', '2020-03-22', '2020-03-23', '2020-03-24',
               '2020-03-25', '2020-03-26', '2020-03-27', '2020-03-28',
               '2020-03-29', '2020-03-30', '2020-03-31', '2020-04-01',
               '2020-04-02', '2020-04-03'],
              dtype='datetime64[ns]', freq='D')

pd.date_range('2020-3-1','2020-4-3',freq='w')#D 天 w周 M月 Q季 H小时 T分 S秒

DatetimeIndex(['2020-03-01', '2020-03-08', '2020-03-15', '2020-03-22',
               '2020-03-29'],
              dtype='datetime64[ns]', freq='W-SUN')

pd.date_range('2020-3-1',freq='Q',periods=10)

DatetimeIndex(['2020-03-31', '2020-06-30', '2020-09-30', '2020-12-31',
               '2021-03-31', '2021-06-30', '2021-09-30', '2021-12-31',
               '2022-03-31', '2022-06-30'],
              dtype='datetime64[ns]', freq='Q-DEC')

 data={
     'time':pd.date_range('2019-1-1',freq='T',periods=200000),
     'cpu':np.random.randn(200000) + 10
     
 }
df=pd.DataFrame(data,columns= ['time','cpu'])

df
timecpu
02019-01-01 00:00:0010.608832
12019-01-01 00:01:0010.107891
22019-01-01 00:02:009.502407
32019-01-01 00:03:0010.453344
42019-01-01 00:04:0010.025292
.........
1999952019-05-19 21:15:009.354853
1999962019-05-19 21:16:0010.311234
1999972019-05-19 21:17:0010.764722
1999982019-05-19 21:18:0010.994048
1999992019-05-19 21:19:0010.775006

200000 rows × 2 columns

df.head()
timecpu
02019-01-01 00:00:0010.608832
12019-01-01 00:01:0010.107891
22019-01-01 00:02:009.502407
32019-01-01 00:03:0010.453344
42019-01-01 00:04:0010.025292
df.tail()
timecpu
1999952019-05-19 21:15:009.354853
1999962019-05-19 21:16:0010.311234
1999972019-05-19 21:17:0010.764722
1999982019-05-19 21:18:0010.994048
1999992019-05-19 21:19:0010.775006
df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 200000 entries, 0 to 199999
Data columns (total 2 columns):
time    200000 non-null datetime64[ns]
cpu     200000 non-null float64
dtypes: datetime64[ns](1), float64(1)
memory usage: 3.1 MB

#查看1个小时内CPU占用情况 现在是一分钟采样 数据太多 改造dataframe 让时间作为索引 改造成五分钟一次时间作为索引 求五分钟平均值
s=pd.to_datetime(df.time)
df.index=s
df.head()
timecpu
time
2019-01-01 00:00:002019-01-01 00:00:0010.608832
2019-01-01 00:01:002019-01-01 00:01:0010.107891
2019-01-01 00:02:002019-01-01 00:02:009.502407
2019-01-01 00:03:002019-01-01 00:03:0010.453344
2019-01-01 00:04:002019-01-01 00:04:0010.025292
df.drop('time',axis=1)
cpu
time
2019-01-01 00:00:0010.608832
2019-01-01 00:01:0010.107891
2019-01-01 00:02:009.502407
2019-01-01 00:03:0010.453344
2019-01-01 00:04:0010.025292
......
2019-05-19 21:15:009.354853
2019-05-19 21:16:0010.311234
2019-05-19 21:17:0010.764722
2019-05-19 21:18:0010.994048
2019-05-19 21:19:0010.775006

200000 rows × 1 columns

df.info()

<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 200000 entries, 2019-01-01 00:00:00 to 2019-05-19 21:19:00
Data columns (total 2 columns):
time    200000 non-null datetime64[ns]
cpu     200000 non-null float64
dtypes: datetime64[ns](1), float64(1)
memory usage: 9.6 MB

df['2019-02-01 08:00:00':'2019-02-01 09:10:00']
timecpu
time
2019-02-01 08:00:002019-02-01 08:00:0010.016300
2019-02-01 08:01:002019-02-01 08:01:0011.500588
2019-02-01 08:02:002019-02-01 08:02:009.639299
2019-02-01 08:03:002019-02-01 08:03:009.365297
2019-02-01 08:04:002019-02-01 08:04:009.016025
.........
2019-02-01 09:06:002019-02-01 09:06:0010.236108
2019-02-01 09:07:002019-02-01 09:07:0010.644256
2019-02-01 09:08:002019-02-01 09:08:0010.251236
2019-02-01 09:09:002019-02-01 09:09:0010.343902
2019-02-01 09:10:002019-02-01 09:10:0011.026916

71 rows × 2 columns

df['2019-01-01']
timecpu
time
2019-01-01 00:00:002019-01-01 00:00:0010.608832
2019-01-01 00:01:002019-01-01 00:01:0010.107891
2019-01-01 00:02:002019-01-01 00:02:009.502407
2019-01-01 00:03:002019-01-01 00:03:0010.453344
2019-01-01 00:04:002019-01-01 00:04:0010.025292
.........
2019-01-01 23:55:002019-01-01 23:55:009.533162
2019-01-01 23:56:002019-01-01 23:56:0010.536986
2019-01-01 23:57:002019-01-01 23:57:0011.243809
2019-01-01 23:58:002019-01-01 23:58:008.733646
2019-01-01 23:59:002019-01-01 23:59:009.542733

1440 rows × 2 columns

df.groupby(df.index.date).mean()#每一天
cpu
2019-01-019.957422
2019-01-029.935621
2019-01-0310.005468
2019-01-049.992855
2019-01-059.995959
......
2019-05-1510.031266
2019-05-169.973673
2019-05-1710.045151
2019-05-1810.023991
2019-05-199.994609

139 rows × 1 columns

df.groupby(df.index.hour).mean()
cpu
time
010.007654
19.992322
29.987562
39.987208
410.008922
510.022125
69.978566
79.997908
810.012145
99.987106
109.988722
119.990424
1210.002575
1310.002844
1410.001017
1510.006581
169.993640
1710.015496
1810.001964
199.995674
209.972376
219.998824
2210.000342
239.998308
df.groupby(df.index.week).mean()
cpu
time
19.977973
29.997662
39.998770
49.994222
59.999088
69.997922
79.995254
810.010069
910.004777
1010.007423
1110.001689
1210.001328
139.999866
149.997371
159.995390
1610.003722
179.991836
189.988586
199.979943
2010.013066
df.resample('5T').mean()#重新采样
cpu
time
2019-01-01 00:00:0010.139553
2019-01-01 00:05:009.544466
2019-01-01 00:10:0010.198618
2019-01-01 00:15:0010.135603
2019-01-01 00:20:009.613786
......
2019-05-19 20:55:0010.348141
2019-05-19 21:00:0010.104422
2019-05-19 21:05:009.483435
2019-05-19 21:10:009.783999
2019-05-19 21:15:0010.439973

40000 rows × 1 columns

df.groupby(df.index.date)

<pandas.core.groupby.generic.DataFrameGroupBy object at 0x0000021B265E5748>
【Python数据分析与可视化】Pandas数据载入与预处理（实训三）
风口IT猪的成长录
12-06 1431
小费数据预处理 import pandas as pd import numpy as np fdata=pd.read_excel('tips_mod.xls') fdata.head() Unnamed: 0 消费总额 小费 性别 是否抽烟 星期 聚餐时间段 人数 0 0 16.99 1.0
Python 机器学习 基础 之 【常用机器学习库】 Pandas 数据处理库
仙魁XAN
06-06 1000
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。
python导入csv报错_Python 导入csv报错的解决办法
weixin_39815031的博客
11-30 1798
日常做分析导数据源进python，有时候会出现报错及显示乱码的问题，今天来梳理一下常见的报错。python 代码import pandas as pdimport numpy as npdf=pd.read_csv('invest_record_2018.csv’)报错信息UnicodeDecodeError Traceback (most recent call last)pandas/_lib...
基于pandas和numpy的数据预处理之缺失数据删除及数据类型转换（转换为sklearn可以使用的数值型数据）
shenyinwudi的博客
07-31 491
1 导入数据 import pandas as pd data = pd.read_excel('fifa21.xlsx', engine='openpyxl') #打开xlsx格式的excel表需要openpyxl引擎 data.head() #查看数据前五行 data.info() #查看数据信息 图1 数据前五行展示 （数据说明：熟悉足球和fifa系列游戏的朋友可以看出，我们的数据集是fifa游戏中的球员的数据。特征值有姓名、国籍、总评分、位置、花式技巧、速度、射门、传球、带球、防守、身.
python的程序题（来自南16同学的力量）
star_and_sun的博客
06-23 5181
1. 已知data目录下由xls文件electricity_data.xls，其内容如下图： 试在data并列的目录code中写出Python代码，计算出线损率，并对数据进行编号，并将结果写入到并列tmp目录下的electricity_data.xls中，使其内容如下图： import numpy as np import pandas as pd dd = pd.read_excel(“C:/v.xlsx”) dd.insert(0,“序号”,range(1,6),allow_duplicates=T
Python 第五章 数据预处理
哈伦2019的博客
05-10 315
#缺失值填充 import pandas as pd import numpy as np data=pd.read_excel('missing.xlsx') #数据框data c=np.array([[1,2,3,4],[4,5,6,np.nan],[5,6,7,8],[9,4,np.nan,8]]) #数组c C=pd.DataFrame(c) #数据框C # 1.均值填充策略 f
Pandas 基础学习
2201_75677002的博客
12-27 2198
Pandas 是一个开源的第三方 Python 库，从 Numpy 和 Matplotlib 的基础上构建而来，Pandas 可以对各种数据进行运算操作，比如归并、再成形、选择，还有数据清洗和数据加工特征。
Pandas学习
weixin_45537879的博客
02-07 1035
Pandas 是基于 Numpy 和 Matplotlib 构建的第三方 Python 库，名字源于 “panel data”（面板数据）与 “Python data analysis”（Python 数据分析）。它能处理各类文件格式数据，广泛应用于多领域，是 Python 数据分析的关键工具。
python pandas模块基础学习详解
09-19
### Python Pandas模块基础学习详解 #### 一、Pandas简介 Pandas 是 Python 中一个强大的数据分析库，它为处理表格数据提供了丰富的功能。Pandas 基于 Numpy 构建，相比于 Numpy，Pandas 在处理数据框（DataFrame）...
【DW组队学习—Pandas】02.pandas基础
0_×的博客
12-22 601
import numpy as np import pandas as pd 在开始学习前，请保证 pandas 的版本号不低于如下所示的版本，否则请务必升级！请确认已经安装了 xlrd, xlwt, openpyxl 这三个包，其中xlrd版本不得高于 2.0.0 。 pd.__version__ '1.1.5' pip install -U pandas==1.1.5 # 版本不够时更新，重启kernel生效 一、文件的读取和写入 1.文件读取 pandas 可以读取的文件格式有很多，这里主要介
Pandas-04-pandas学习资料
qq_21478261的博客
06-06 454
Pandas学习资料分享，以后遇到了再补充。
python数据分析pandas数据预处理
GoldWings
05-13 755
1.模块 import pandas as pd import numpy as np 1.1.读表 detail=pd.read_excel(r’E:\DataAnalyst\数据分析表\meal_order_detail.xlsx’,sheet_name=1) 2.透视表 pivot_table==> groupby: 2.1.aggfunc:聚合函数：np....
数据分析初步之数据预处理
weixin_40547993的博客
10-24 2996
有段时间没写博客了，最近一直在忙自己的事。听说今天发一篇原创博客就可以领个勋章，想想没啥可写的，就把之前的学习笔记整理一下，1024，请赐我一枚勋章，哈哈哈…… 数据分析初步之数据预处理 一、生成数据表 import numpy as np import pandas as pd 1 导入数据表 df = pd.DataFrame(pd.read_csv('name....
python数据预处理
Jerry_qqxxw的博客
12-22 1032
数据预处理是后续数据分析处理的前提，包括数据探究，缺失值、异常值，重复值等数据处理，数据标准化、归一化处理。
解决PyCharm工程中pip版本和python中的pip版本不一致
QuanWaiRen0的博客
02-26 191
完成之后在控制台上已经无法使用python和pip命令了，在project->interpreter中查看pip版本是正确的。pip版本已经不一致了。因为22.3.1的pip不适配python 3.13, 所以此时使用pip可能遇到。再修改pip env, 调整python interpreter 和 pip exe的路径，保持两者统一。在工程页面下启动控制台，查看python和pip的版本。interpreter选择之前安装的python。点击ok完成添加interpreter。
本地部署 deepseek-r1 1.5B方法-ubuntu20.04 python3.10 pycharm虚拟环境
最新发布
weixin_45834800的博客
02-26 567
git lfs的作用：通过存储大文件的指针而非文件本身，提高 Git 的效率，同时允许 Git 继续处理和版本控制大文件（如模型文件）。git clone的作用：下载整个仓库及其中的文件，但大文件会通过 Git LFS 的方式进行处理。所以，即使你通过git clone克隆了整个仓库，git lfs依然发挥作用，确保大文件能够以更高效的方式被管理和下载。
DeepSeek掘金——DeepSeek Janus系列多模态模型
02-26 774
DeepSeek 的 Janus是一系列统一的多模态模型，结合了视觉和语言功能。与专注于文本到图像合成或视觉语言任务的传统模型不同，Janus-Series 无缝集成了这两种功能。多模态理解：可以处理文本和图像，实现深度上下文理解。文本到图像生成：类似于 OpenAI 的 DALL-E 3，但开源且针对效率进行了优化。统一 Transformer 架构：使用单个 Transformer 执行文本和视觉任务。可扩展性：支持针对不同硬件功能量身定制的多种模型大小。
oscp备考，oscp系列——Djinn3靶场：ssti漏洞，pkexec提权
2202_75361164的博客
02-24 397
oscp备考，oscp系列——Djinn3靶场：ssti漏洞，pkexec提权难度简单偏上对于低权限shell获取涉及：ssti漏洞对于提权：pkexec提权。
掌握机器学习预科三剑客：Numpy、Pandas、Matplotlib
提供的文件列表包括了数据文件（data1.csv）和Jupyter Notebook文件（以01、02、03等编号开头的.ipynb文件）。这些.ipynb文件可能包含了针对NumPy和Pandas的入门操作教程，以及Matplotlib绘图的基础教程。aaa.png...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值