数据分析第四课：pandas统计分析基础

最新推荐文章于 2024-03-02 14:03:11 发布
最新推荐文章于 2024-03-02 14:03:11 发布
阅读量1.2k 收藏 6
点赞数
分类专栏： python 文章标签： python 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sc2333/article/details/108998802
版权

读写不同数据源的数据

1、数据库数据读取


在这里插入图片描述
在这里插入图片描述

2、文本文件储存

在这里插入图片描述

读写Excel文件

在这里插入图片描述

掌握DataFrame的常用操作

查看DataFrame的常用属性

基础属性

在这里插入图片描述

查改增删dataframe数据

1、查看访问DataFrame数据——基本查看方式

在这里插入图片描述

data['dishes_name']
data.dishes_name#不建议使用，易与属性方法混淆

在这里插入图片描述
在这里插入图片描述
dataframe具有行名称和列名称，所以除了用名称索引之外，还可以用行列号索引。

data.iloc[2,2]
data.loc[2,'dishes_id']

loc前后均闭的区间，iloc前闭后开区间
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
也可以用delete

del data2['detail_id']

描述分析DataFrame数据

1、数值型

在这里插入图片描述

data2.mean()#部分字符型数据不进行计算，只对数值型计算

2、类别型 在这里插入图片描述

在这里插入图片描述

转换与处理时间序列

pandas事件相关的类

在这里插入图片描述
在这里插入图片描述

data['lock_time']=pd.to_datetime(data['lock_time'])#赋值才会对原值有改变

timestamp是有时间范围限制的，不能超过这个时间范围
在这里插入图片描述
在这里插入图片描述

提取时间序列数据信息

Timestamp类常用属性

在这里插入图片描述

加减时间数据

Timedelta类

在这里插入图片描述
在这里插入图片描述

使用分组聚合进行组内计算

聚合：依照一个或几个字段对数据分组，并且对每个分组应用一个函数，pandas提供groupby方法进行分组

使用groupby方法拆分数据

在这里插入图片描述

groupby方法的参数及其说明

在这里插入图片描述

GroupBy对象常用的描述性统计方法

在这里插入图片描述

使用agg方法聚合数据

agg和aggregate函数参数机器说明

在这里插入图片描述

agg方法求统计

在这里插入图片描述

data_gb.agg(np.sum)#可灵活应用函数
data_gb.sum()#只提供部分功能

在这里插入图片描述

agg方法与自定义函数

apply

在这里插入图片描述

#结果一样，但是apply无法针对字段进行单独的聚合
data[['counts','amounts']].apply(np.sum)
data[['counts','amounts']].agg(np.sum)

在这里插入图片描述

使用transform方法聚合数据

在这里插入图片描述

创建透视表与交叉表

透视表是数据分析常用工具之一，根据一个或多个键进行聚合

使用povit_table函数创建透视表

pivot_table函数常用参数及说明

在这里插入图片描述

pivot_table函数主要的参数调节

在这里插入图片描述

crosstab创建交叉表

在这里插入图片描述

sc2333
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
层次配平总结
weixin_41636030的博客
11-03 655
一．分层时间序列 对于任何时间t，分层结构底层的观测值加起来等于上层序列的观测值 且 进一步简化，分层结构可以写为： 或者 二．分组时间序列 上式表明分组结构有可替代的聚合路径 对分组第一级有 或者 进一步简化： 或者 三．自下而上的方法 定义：首先在底层生成每个序列的预测，之后将这些预测相加来得到结构中所有序列的预测 Ex： 先为每个底层序列生成h步向前的预测 之后加总，得到该序列其他部分h步向前的一致预测值 即 或者 四．自上而下的方法 定义：该方法首先为总结序列yt生成预测，之后在
Python中的time模块、datetime模块
litao_243的博客
06-05 1261
1、time模块1.1 time.time()函数编程中常用的参考时间为：1970年1月1日0点。time.time()函数返回从那一刻到现在的秒数，是一个浮点数。import time print(time.time())>>1528168656.5038412也可以用time.time()函数来测量一段代码运行的时间。在代码开始时调用time.time（），并在结束时再次调用，用结...
【Python】实验三Pandas统计分析基础
a1234567822的博客
03-02 538
1、完成任务4.1-4.5任务实现部分的代码操作并编程完成第四章实训内容和meal_order_info.csv的数据分析；（1）提取状态为“1”的数据，给出一些基本统计量，如人均消费额、单均消费额等统计信息；（3）给出各自感兴趣的统计指标分析（至少2个指标），希望能得到一些有意义的分析结果。3、对用户信息更新表和登录信息表分别进行分组聚合、透视表和交叉表的相关操作。4、掌握分组聚合计算方法、创建透视表和交叉表的方法。2、提取用户信息更新表和登录信息表的时间信息。（3）掌握透视表和交叉表的制作方法。
按指定频次对时间序列数据进行分组pd.grouper()方法
liujingwei8610的专栏
12-07 1845
按指定频次对时间序列数据进行分组pd.grouper()方法
Pandas 13.groupby分组
weixin_42118352的博客
06-10 431
pandas.concat(objs, axis=0, join=‘outer’, ignore_index=False, levels=None, names=None, verify_integrity=False, sort=False, copy=True, keys=None, )主要介绍objs, axis, join, ignore_index四个参数
Python_文本分析_困惑度计算和一致性检验
热门推荐
越吃越胖的博客
06-02 1万+
在做LDA的过程中比较比较难的问题就是主题数的确定，下面介绍困惑度、一致性这两种方法的实现。 其中的一些LDA的参数需要结合自己的实际进行设定 直接计算出的log_perplexity是负值，是困惑度经过对数去相反数得到的。 import csv import datetime import re import pandas as pd import numpy as np import jieba import matplotlib.pyplot as plt import jieba.posseg
python南方涛动指数SOI数据分析，使用pandas和matplotlib库
06-06
任务1:数据清洗,# 用pandas 库读取 soi.long.data.csv 文件， 将所有时间抽取为单独的列Date(形式为YYYY-MM-01),如1866-01-01 所有异常值抽取为一个单独的列SOI，将所有缺失值丢弃处理， 并到处到新的txt文件soi_...
8阶段-数据分析课程第4天
03-27
数据分析方法：学习如何应用数据分析方法，例如统计分析、数据挖掘和机器学习，以从数据中提取有意义的结论。 项目实战：通过完成实际数据分析项目，应用已学习的Python技能和数据分析技术，提高自己的实战能力。 ...
基于Python实现大型家用电器和电子产品在线商店购买数据分析【500010098】
11-18
基于Python实现大型家用电器和电子产品在线商店购买数据分析 1、进行用户消费趋势分析（按月） 1.1、每月的消费总金额 1.2、每月的消费人数 2、进行品牌消费情况分析 2.1、各品牌产品消费总金额 2.2、各品牌用户...
精品资料-数据分析学习资料精华合集（600多份）.zip
最新发布
03-26
17、Python数据分析(四):Pandas包.pdf 18、Python数据分析(六)数据清理实操.pdf 19.Matplotlib 用户指南.pdf 20、零售电商指标.pdf 21、服装电商指标.pdf 二、SQL精华资料包 数据库设计优化完善版本.pdf 数据库基础...
安居客出租房（武汉为例）爬虫+数据分析+可视化
06-22
但是作为我写爬虫以来注释最详细的一次，以及第一次真正使用像matplotlib这种数据分析库的代码，我认为还是有必要分享出来给大家当个参考的（PS：大佬轻拍~）。爬虫本身几乎没有什么难度，写的也比较乱，敬请见谅。 ...
Python 时间序列分析
程志伟的博客
02-21 3454
关注微信号：小程在线 关注CSDN博客：程志伟的博客 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from datetime import datetime sns.set_style('whitegrid') #读取时间序列 goertek...
第四章 Pandas统计分析基础
qq_52331221的博客
10-30 1万+
22：DataFrame.replace({'B':'E','C':'F'})表示将表中的B替换为___ ，C替换为______8：Pandas的数据对象在进行算术运算时如果存在不同索引会进行数据对齐，但会引入______6：随机抽取数据的语句sample(frac=0.7)中的frac参数的含义是______13：Pandas的数据对象在进行算术运算时如果存在不同索引会进行数据对齐，但会引入___21：Pandas中删除数据时，行列数据通过参数___确定删除的是行还是列。
pandas把年月日数据分割成年、月、日单独三列
HYQ666888999的博客
12-18 6376
原数据中date列是str类型，需要先转化为日期格式，转化之后如下图所示 df.date=pd.to_datetime(df.date) 若要把年月日数据分开成年、月、日三列数据，需要从日期数据中提取年、月、日 year=date.year month=date.month day=date.day 把DataFrame中的年月日列利用函数转化成三列 def get_ymd(date): '''这里的输入date是一列年月日数据''' Y,M,D=[],[],[] for i i.
pandas 数据分组
ljh18885466426的博客
09-01 1725
分组操作 学习目标 应用groupby 进行分组,并对分组数据进行聚合,转换和过滤 应用自定义函数处理分组之后的数据 1 aggregate聚合 在SQL中我们经常使用 GROUP BY 将某个字段,按不同的取值进行分组, 在pandas中也有groupby函数 分组之后,每组都会有至少1条数据, 将这些数据进一步处理返回单个值的过程就是聚合,比如 分组之后计算算术平均值, 或者分组之后计算频数,都属于聚合 1.1 单变量分组聚合 需求：加载data/gapminder数据集，计算每一年的平
r 语言 处理栅格数据
kbasg的博客
12-11 1万+
r 语言 处理栅格数据 作为新手，记录自己学到的一些东西，也希望能对需要的人有稍许帮助 常用的包 raster #处理栅格数据 rasterVis #栅格数据可视化 RColorBrewer #颜色设置 ncdf4 #nc数据的读取 常用的数据类型 tiff nc 数据导入和简单的可视化 tiff数据读取 读取一个tiff文件 raster() 函数 ## 导入使用的包 library(raster) library(rasterVis) library(RColorBrewer)
python pandas 日期_python – Pandas按时间分组并指定开始时间
weixin_39798579的博客
12-10 666
– 编辑我注意到我输入的时间不是我想要的.我将12点之后的时间转换为24小时时间约定.但是,unutbu的答案应该仍然清楚.– 第二次编辑.我改变了数据以做出更好的例子.以下是按日期索引的时间序列.我想从start_datetime开始进行聚合,并根据下面的timedelta(9.5小时= 34200秒)继续聚合.def main():# start_datetime = datetime.dat...
pandas处理时间序列（1）：pd.Timestamp()、pd.Timedelta()、pd.datetime( )、 pd.Period()、pd.to_timestamp()、datetime...
dili8870的博客
04-05 5920
　　Pandas库是处理时间序列的利器，pandas有着强大的日期数据处理功能，可以按日期筛选数据、按日期显示数据、按日期统计数据。 pandas的实际类型主要分为： timestamp（时间戳） period（时期） timedelta（时间间隔） 常用的日期处理函数有： pd.to_datetime() pd.to_period() pd.date...
《Python数据分析与应用》第4章Pandas统计分析（1） 实训部分
weixin_47572370的博客
02-13 1万+
《Python数据分析与应用》第4章Pandas统计分析（1） 实训部分（源于大学课程python数据分析) 实训1 读取并查看P2P网络贷款数据主表的基本信息 1.利用read_csv读取P2P网络贷款数据主表 2.利用ndim属性查看主表维度、利用shape属性查看主表形状、利用memory_usage属性查看主表占用内存信息 3.利用describe方法对主表进行描述性统计分析 4.利用自定义函数剔除值相同或全为空的列，标准差表示的是样本数据的离散程度，标准差为0就是数组为空值，所以求全为空的
python+大数据分析基础
03-15
Python拥有富的第三方库和工具，使得数据分析变得更加便捷和高效。 在Python中进行大数据分析，通常会使用以下几个重要的库和工具： 1. Num：NumPy是Python科学计算的基础库，提了高性能多维数组对象和各种数学...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值