![](https://img-blog.csdnimg.cn/20210808125029108.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
pandas由入门到精通
文章平均质量分 75
对Pandas的使用进行介绍,欢迎订阅
优惠券已抵扣
余额抵扣
还需支付
¥9.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
Wumbuk
了却君王天下事,赢得生前身后名
展开
-
pandas由入门到精通—实现DataFrame的Merge(合并)
10.Pandas实现DataFrame的Merge(合并)文章目录10.Pandas实现DataFrame的Merge(合并)前言Merge的语法:一、电影数据集的join实例二、程序演示1.合并不同表的信息2.理解merge时数量的对齐关系3.理解left join、right join、inner join、outer join的区别4. 如果出现非Key的字段重名怎么办总结前言笔者最近正在学习Pandas数据分析,将自己的学习笔记做成一套系列文章。本节主要记录Pandas中DataFram原创 2021-08-30 15:01:14 · 13804 阅读 · 1 评论 -
pandas由入门到精通-数据透视表
采集的数据存储后通常会分为多个文件或数据库,如何将这些文件按需拼接,或按键进行连接十分重要。这节将介绍数据索引的复杂操作如分层索引,stack,unstack,seet_index,reset_index等帮助重构数据,数据的拼接如merge,join,concat,combine_first等帮助连接数据,以及数据透视表的使用。原创 2023-08-27 11:34:40 · 2806 阅读 · 0 评论 -
Pandas由入门到精通-组合与合并数据
其他参数如下表,等待读者参考官方文档自行探索。原创 2023-08-27 11:28:58 · 162 阅读 · 0 评论 -
Pandas由入门到精通-分层索引
采集的数据存储后通常会分为多个文件或数据库,如何将这些文件按需拼接,或按键进行连接十分重要。这节将介绍数据索引的复杂操作如分层索引,stack,unstack,seet_index,reset_index等帮助重构数据,数据的拼接如merge,join,concat,combine_first等帮助连接数据,以及数据透视表的使用。原创 2023-08-27 09:38:39 · 145 阅读 · 0 评论 -
pandas由入门到精通-数据清洗-分类数据
设置随机数种子,生成1000个服从正太分布的随机数#按照四分位点将整数分为四个箱#按照四分位点将整数分为四个箱,但是给每个分段设置一个标签#将生成的结果转换为Series类型,并取名quartile#将原始数据draws按照bins的分箱结果进行分组聚合,计算三种聚合值,并且重新生成索引将分箱结果生成one-hot向量。原创 2023-08-27 09:33:53 · 248 阅读 · 0 评论 -
pandas由入门到精通-数据清洗-字符串处理
文中用S代指Series,用Df代指DataFrame数据清洗是处理大型复杂情况数据必不可少的步骤,这里总结一些数据清洗的常用方法:包括缺失值、重复值、异常值处理,数据类型统计,分箱,随机采样,向量化编码等方法。每种方法都给出了代码和实例,并用表格进行总结。原创 2023-08-27 09:31:26 · 204 阅读 · 0 评论 -
pandas由入门到精通-数据清洗-扩展数据类型
本文介绍Pandas数据清洗过程中的扩展数据类型原创 2023-08-26 16:06:33 · 177 阅读 · 0 评论 -
pandas由入门到精通-数据处理
文中用S代指Series,用Df代指DataFrame数据清洗是处理大型复杂情况数据必不可少的步骤,这里总结一些数据清洗的常用方法:包括缺失值、重复值、异常值处理,数据类型统计,分箱,随机采样,向量化编码等方法。每种方法都给出了代码和实例,并用表格进行总结。原创 2023-08-26 16:04:03 · 230 阅读 · 0 评论 -
pandas由入门到精通-数据清洗-缺失值处理
数据清洗是处理大型复杂情况数据必不可少的步骤,这里总结一些数据清洗的常用方法:包括缺失值、重复值、异常值处理,数据类型统计,分箱,随机采样,向量化编码等方法。每种方法都给出了代码和实例,并用表格进行总结。前后填充的最大连续个数 :limit (超出这个个数不再填充,仍是空值)文中用S代指Series,用Df代指DataFrame。dropna()方法会返回一个新的对象,不会改变原数据。向前填充:ffill 和该空置之前的值相同。以下两种写法等价,作用都是去掉S中的空值。向后填充:bfill。原创 2023-08-26 15:58:44 · 125 阅读 · 0 评论 -
pandas由入门到精通-描述性统计量
本文介绍pands描述项统计量有关知识原创 2023-08-26 15:46:55 · 311 阅读 · 0 评论 -
pandas由入门到精通-Pandas的基本功能
本文介绍pandas中一些常用的属性方法的概述,给读者提供快速学习的架构和思路。表格中提供的一些参数方法没有详细介绍,有需要查看官方文档。(由作者总结自最近看的书:Python for Data Analysis)包括:reindex、drop、算法与数据对齐、函数apply与映射map、排序sort与排名rank的用法,希望可以帮助到有需要的小伙伴~原创 2023-08-26 15:44:16 · 144 阅读 · 0 评论 -
pandas由入门到精通-pandas的数据结构
本文介绍Pandas数据分析众的数据结构,包括Series、DataFrame和Index Objects原创 2023-08-26 15:38:33 · 369 阅读 · 1 评论 -
Pandas数据分析—实现数据的合并(concat和append)
10.Pandas实现数据的合并(concat和append)文章目录10.Pandas实现数据的合并(concat和append)前言一、假造数据二、程序演示1、使用pandas.concat合并数据2、使用DataFrame.append按行合并数据总结前言笔者最近正在学习Pandas数据分析,将自己的学习笔记做成一套系列文章。本节主要记录Pandas中数据的合并(concat和append)使用场景:批量合并相同格式的Excel、给DataFrame添加行、给DataFrame添加列原创 2021-08-30 16:38:39 · 1555 阅读 · 0 评论 -
Pandas数据分析—使用stack和pivot实现数据透视
15.Pandas使用stack和pivot实现数据透视文章目录15.Pandas使用stack和pivot实现数据透视前言一、经过统计得到多维度指标数据二、使用unstack实现数据的二维透视使用pivot简化透视四、stack、unstack、pivot的语法1.stack2.unstack3.pivot总结前言笔者最近正在学习Pandas数据分析,将自己的学习笔记做成一套系列文章。本节主要记录Pandas中使用stack和pivot实现数据透视。经过统计得到多维度指标数据使用un原创 2021-09-04 22:32:16 · 5785 阅读 · 3 评论 -
Pandas数据分析—对每个分组应用apply函数
14.Pandas对每个分组应用apply函数文章目录14.Pandas对每个分组应用apply函数前言一、怎样对数值列按分组的归一化二、取每个分组的TOPN数据总结前言笔者最近正在学习Pandas数据分析,将自己的学习笔记做成一套系列文章。本节主要记录Pandas中对每个分组应用apply函数.GroupByapply(function)function的第一个参数是dataframefunctio的返回结果,可是dataframe、series、单个值,甚至和输入dataframe原创 2021-09-03 23:00:51 · 675 阅读 · 0 评论 -
Pandas数据分析—的数据转换函数map、apply、applymap
12.Pandas的数据转换函数map、apply、applymap文章目录12.Pandas的数据转换函数map、apply、applymap前言一、准备数据二、map用于Series值的转换三、apply用于Series和DataFrame的转换四、applymap 用于DataFrame所有值的转换总结前言笔者最近正在学习Pandas数据分析,将自己的学习笔记做成一套系列文章。本节主要记录Pandas中的数据转换函数map、apply、applymap(类似sql数据库中的groupby)原创 2021-09-02 20:59:06 · 1136 阅读 · 0 评论 -
Pandas数据分析—groupby分组统计
12.Pandas中groupby分组统计文章目录12.Pandas中groupby分组统计前言一、分组使用聚合函数做数据统计1.准备数据二、遍历groupby的结果理解执行流程三、实例分组股票数据总结前言笔者最近正在学习Pandas数据分析,将自己的学习笔记做成一套系列文章。本节主要记录Pandas中groupby的使用(类似sql数据库中的groupby)类似SQL:select city,max(temperature) from city_weather group by city;原创 2021-08-31 01:05:20 · 10010 阅读 · 1 评论 -
Pandas数据分析—批量拆分Excel与合并Excel
11.Pandas批量拆分Excel与合并Excel文章目录11.Pandas批量拆分Excel与合并Excel前言一、假造数据二、程序演示1、将一个大Excel等份拆成多个Excel2、合并多个小Excel到一个大Excel总结前言笔者最近正在学习Pandas数据分析,将自己的学习笔记做成一套系列文章。本节主要记录Pandas中数据的合并(concat和append)将一个大的Excel等份拆成多个Excel将多个小Excel合并成一个大的Excel并且标记来源一、假造数据wo原创 2021-08-30 23:36:57 · 507 阅读 · 0 评论 -
Pandas数据分析—Index索引的使用方法
11.Pandas的Index索引使用文章目录11.Pandas的Index索引使用前言一、程序演示1. 使用index查询数据2.使用index会提升查询的性能3.使用index能够自动对齐数据的功能4.使用index更多更强大的数据结构支持总结前言笔者最近正在学习Pandas数据分析,将自己的学习笔记做成一套系列文章。本节主要记录Pandas的Index索引把数据存储于普通的column列也能用于数据查询,那么使用index有什么好处呢?index的用途总结:更方便的数据查询使用i原创 2021-08-30 11:55:59 · 236 阅读 · 0 评论 -
Pandas数据分析—axis参数
9.Pandas的axis参数文章目录9.Pandas的axis参数前言一、程序演示总结前言笔者最近正在学习Pandas数据分析,将自己的学习笔记做成一套系列文章。本节主要记录Pandas的axisaxis=0或者"index":如果是单行操作,指的是某一行如果是聚合操作,指的是跨行cross rowsaxis=1或者"columns"如果是单列操作,指的就是某一列如果是聚合操作,指的就是跨列cross columns一、程序演示提前读取数据#伪造一个三行四列原创 2021-08-29 22:00:25 · 607 阅读 · 0 评论 -
Pandas数据分析—对字符串的处理
9.Pandas对字符串的处理文章目录9.Pandas对字符串的处理前言一、程序演示1.获取Series的str属性,然后使用各种字符串处理函数2.使用str的startwith,contains等bool类Series可以做条件查询3.需要多次str处理的链式操作4.使用正则表达式的处理总结前言笔者最近正在学习Pandas数据分析,将自己的学习笔记做成一套系列文章。本节主要记录Pandas的字符串处理的常用方法使用方法: 先获取Series的str属性,然后在属性上调用函数只能在字符串列原创 2021-08-29 18:31:59 · 696 阅读 · 0 评论 -
Pandas数据分析—排序函数
9.Pandas的数据排序函数文章目录9.Pandas的数据排序函数前言一、排序函数1.Series数据的排序2.DataFrame数据的排序2.1.1 单列排序的情况2.1.2 多列排序的情况总结前言笔者最近正在学习Pandas数据分析,将自己的学习笔记做成一套系列文章。本节主要记录Pandas的数据排序函数相关常用方法。我们分为Series数据的排序和DataFrame数据的排序一、排序函数提前读取数据import pandas as pdfpath="./datas/600033原创 2021-08-29 16:53:07 · 1131 阅读 · 0 评论 -
解决Pandas中的SettingWithCopyWarning报警
项目场景:Pandas中的SettingWithCopyWarning报警)问题描述:在使用Pandas数据分析的时候,可能会遇到SettingWithCopyWarning错误报警,这是因为不当的操作顺序引起的。# 报错的操作df[condition]["wen_cha"]=df["col1"]-df["col2"] 原因分析:链式操作其实是两个步骤,先是get然后set。get得到的dataFrame可能是view,也可能是copy,所以Pandas就发出了警告 解决的方案原理就原创 2021-08-29 16:04:34 · 1079 阅读 · 0 评论 -
Pandas数据分析—对缺失值的处理
7.Pandas的对缺失值的处理文章目录7.Pandas的对缺失值的处理前言一、概述二、函数的使用实例1.读取excel的时候,忽略前面的几个空行2.检测空值3.删除掉全是空值的列4.删除掉全是空值的行5.将分数列为空的值填充为06.将姓名的缺失值填充总结前言笔者最近正在学习Pandas数据分析,将自己的学习笔记做成一套系列文章。本节主要记录Pandas对缺失值的处理的方法。一、概述Pandas使用这些函数来处理缺失值isnull和notnull: 检测是否是空值,可用于df和serie原创 2021-08-29 15:42:17 · 2735 阅读 · 0 评论 -
Pandas数据分析—数据统计函数
2.Pandas的数据统计函数文章目录2.Pandas的数据统计函数前言一、三类统计函数1.汇总类统计2.唯一去重和按值计数3.相关系数和协方差总结前言笔者最近正在学习Pandas数据分析,将自己的学习笔记做成一套系列文章。本节主要记录Pandas的数据统计函数相关常用方法。一、三类统计函数提前读取数据import pandas as pdfpath="./datas/600033.csv"df=pd.read_csv(fpath)1.汇总类统计# 展示所有的数字列统计结果,其中原创 2021-08-29 12:20:52 · 507 阅读 · 0 评论 -
Pandas数据分析-新增数据列
4.Pandas新增数据列文章目录4.Pandas新增数据列前言一、直接赋值二、df.apply方法三、df.assign方法四、按条件选择分组分别进行赋值总结前言笔者最近正在学习Pandas数据分析,将自己的学习笔记做成一套系列文章。本节主要记录Pandas的新增数据列方法,如apply方法。在进行数据分析的时候,经常需要按照一定条件创建新的数据列,然后进一步进行分析一、直接赋值import pandas as pdfpath="./datas/600033.csv"df=pd.re原创 2021-08-08 13:43:04 · 2402 阅读 · 0 评论 -
Pandas数据分析-数据查询
3.Padas的数据查询文章目录3.Padas的数据查询前言一、Pandas查询数据的几种方法二、Pandas使用df.loc查询数据的方法2.1 使用单个的label值查询数据2.2 使用值列表批量查询2.3 使用数值区间进行范围查询2.4 使用条件表达式查询2.5 调用函数查询总结前言笔者最近正在学习Pandas数据分析,将自己的学习笔记做成一套系列文章。本节主要记录Pandas的数据查询方法,如loc方法。一、Pandas查询数据的几种方法df.loc 方法,根据行、列的标签值查询原创 2021-08-08 12:48:38 · 443 阅读 · 0 评论 -
Pandas数据分析-Pandas的数据结构
1.Padas的数据结构文章目录1.Padas的数据结构前言一、pandas的数据结构二、pandas读取数据1.读取csv数据2.读取excel表格数据3.读取sql数据库数据4.pandas读取文件做日期解析parse_dates总结前言笔者最近正在学习Pandas数据分析,将自己的学习笔记做成一套系列文章。本节主要记录Pandas的数据结构和相关常用方法,如切片。一、pandas的数据结构Pandas的数据结构分为DataFrame和Series。前者表示的是一个二维的表格数据,有行也原创 2021-08-08 11:35:12 · 261 阅读 · 0 评论 -
Pandas数据分析-数据读取
1.Padas做数据读取文章目录1.Padas做数据读取前言一、pandas是什么?二、pandas读取数据1.读取csv数据2.读取excel表格数据3.读取sql数据库数据总结前言笔者最近正在学习Pandas数据分析,将自己的学习笔记做成一套系列文章。一、pandas是什么?Pandas,python+data+analysis的组合缩写,是python中基于numpy和matplotlib的第三方数据分析库,与后两者共同构成了python数据分析的基础工具包,享有数分三剑客之名。Pan原创 2021-08-08 00:01:13 · 660 阅读 · 0 评论