pandas100个骚操作
文章平均质量分 85
东哥带你玩pandas,100个骚操作,各个经典。
Python数据科学
这个作者很懒,什么都没留下…
展开
-
pandas GUI 神器 D-Tale,可视化操作自动转代码
大家好,我是帅东哥。关于pandas的GUI工具,我之前介绍过pandasgui。可以说,有了GUI可视化界面,操作就和Excel一样简单,本次再介绍一款功能强大的GUI神器:D-Tale。这个库的名字为啥要D-Tale呢?东哥还信还去查了下,它是detail的谐音,初衷是要提供数据的所有详细信息。下面介绍下如何使用它。关于pandas精选的系列内容,可以看看我的专栏:pandas骚操作系列启动、数据加载D-Tale支持多种文件格式,包括CSV、TSV、XLS、XLSX。它是一个以Flask 为后原创 2021-11-13 14:15:23 · 1260 阅读 · 0 评论 -
再见 CSV,速度提升 150 倍!
大家好,我是东哥。前几天有个粉丝留言,说pandas的100个骚操作系列为什么只有21个啊?这里和大家说一下,这个系列「pandas100个骚操作」还在持续更新中。由于平时工作较忙,更新稍慢,不过还是在一直更新的。我的原计划是输出100个,目前来看可能最终不一定会到100个,但每个都是超实用且平时经常会遇到的问题。pandas的用法太多了,如果不熟练,平时是需要经常网上查找的,这个系列可以帮助大家快速回忆用法。或者万一平时遇到问题查不到无法解决,也可以过来看下,毕竟某度上是查不到微信文章的。该系列预原创 2021-09-10 00:34:35 · 1443 阅读 · 1 评论 -
20 个短小精悍的 pandas 骚操作
大家好,我是东哥啊。本次为大家准备了一个pandas实用操作的大集合,共25个功能,个个短小精悍,一次让你爱个够。系列内容,请看???? pandas骚操作系列1. ExcelWriter很多时候dataframe里面有中文,如果直接输出到csv里,中文将显示乱码。而Excel就不一样了,ExcelWriter是pandas的一个类,可以使dataframe数据框直接输出到excel文件,并可以指定sheets名称。df1 = pd.DataFrame([["AAA", "BBB"]], colum原创 2021-08-07 11:24:19 · 887 阅读 · 2 评论 -
好习惯!pandas 8 个常用的 index 索引设置
大家好,我是东哥呀!本篇是pandas100个骚操作系列的第 18 篇:8个常用的index设置系列内容,请看上面专栏,或者订阅????「pandas100个骚操作」在数据处理时,经常会因为index报错而发愁。不要紧,本次来和大家聊聊pandas中处理索引的几种常用方法。1.读取时指定索引列很多情况下,我们的数据源是 CSV 文件。假设有一个名为的文件data.csv,包含以下数据。date,temperature,humidity07/01/21,95,5007/02/21,94,55原创 2021-07-31 17:42:19 · 3460 阅读 · 1 评论 -
pandas100个骚操作七:8 个常用的 set_option 设置方法
大家好,我是东哥。本篇是pandas100个骚操作系列的第 17 篇:8个常用的set_option系列内容,请看????「pandas100个骚操作」通过pandas的使用,我们经常要交互式地展示表格(dataframe)、分析表格。而表格的格式就显得尤为重要了,因为大部分时候如果我们直接展示表格,格式并不是很友好。其实呢,这些痛点都可以通过pandas的option来解决。短短几行代码,只要提前配置好,一次设置好,全局生效,perfect!# 使用方法import pandas as pd原创 2021-06-22 10:28:06 · 1318 阅读 · 0 评论 -
pandas100个骚操作六:pandas 数据转换 transform 的 4 个常用技巧
大家好,我是你们的东哥。本篇是pandas100个骚操作的第6篇:pandas 数据转换 transform 的 4 个常用技巧查看全部骚操作可以点击专栏:pandas 100个骚操作本次给大家介绍一个功能超强的数据处理函数transform,相信很多朋友也用过,东哥这里再次进行详细分享下。transform有4个常用功能,总结如下:转换数值合并分组结果过滤数据结合分组处理缺失值一. 转换数值pd.transform(func, axis=0)以上就是transform转换数值原创 2021-03-10 22:26:24 · 1210 阅读 · 0 评论 -
pandas100个骚操作五:使用 explode 实现 pandas 列转行的 2 个常用技巧
大家好,我是你们的东哥。本篇是pandas100个骚操作的第5篇:使用 explode 实现 pandas 列转行的 2 个常用技巧查看全部骚操作可以点击专栏:pandas 100个骚操作在我们处理数据的过程中,经常会遇到这样的情况。工作中比如用户画像的数据中,客户使用的app类型就会以这种长列表的形式或者以逗号隔开的字符串形式展现出来。那么面对这样的数据格式,我们希望把它转换为结构化的表,脑海中想象的是下面这种格式。使用pandas如何实现呢?一、直接explode其实非常简单,使用原创 2021-03-10 22:11:36 · 11963 阅读 · 5 评论 -
pandas100个骚操作四:再见for循环!速度提升315倍,pandas速度优化方法
大家好,我是你们的东哥。本篇是pandas100个骚操作的第4篇:再见for循环!速度提升315倍,pandas速度优化方法查看全部骚操作可以点击专栏:pandas 100个骚操作因为for是所有编程语言的基础语法,初学者为了快速实现功能,依懒性较强。但如果从优雅性和运算时间性能上考虑可能不是特别好的选择。本次东哥介绍几个常见的提速方法,一个比一个快,了解pandas本质,才能知道如何提速。下面是一个例子。>>> import pandas as pd# 导入数据集>原创 2021-03-10 21:47:37 · 1723 阅读 · 0 评论 -
pandas100个骚操作三:使用pandas快速爬取数据
大家好,我是你们的东哥。本篇是pandas100个骚操作的第3篇:利用pandas快速爬取数据查看全部骚操作可以点击专栏:pandas 100个骚操作提起爬虫,大家可能都知道requests、beautifulsoup、scrapy、selenium等等一些工具库。但其实对于一些日常的网页Table表格数据抓取来讲,没有必要去F12研究HTML页面结构甚至写正则表达式解析字段。本次东哥介绍一个超级简单的方法,用pandas也可以玩爬虫。pandas自带一个方法是read_html,利用这个方法可原创 2021-01-20 09:35:30 · 2193 阅读 · 0 评论 -
pandas100个骚操作二:JSON自动解析为Dataframe
首发于公众号:Python数据科学作者:东哥起飞调用API和文档数据库会返回嵌套的JSON对象,当我们使用Python尝试将嵌套结构中的键转换为列时,数据加载到pandas中往往会得到如下结果:df = pd.DataFrame.from_records(results [“ issues”],columns = [“ key”,“ fields”])说明:这里results是一个大的字典,issues是results其中的一个键,issues的值为一个嵌套JSON对象字典的列表,后面会看..原创 2020-11-09 18:43:05 · 1355 阅读 · 1 评论 -
pandas100个骚操作一:变量类型自动转换
大家好,我是你们的东哥。本篇是pandas100个骚操作的第一篇:object类型自动转换查看全部骚操作可以点击专栏:pandas 100个骚操作在用pandas进行数据清洗的过程中,变量的类型转换是一个必然会遇到的步骤。清洗初期查看dtypes经常出现object类型,但其实变量本身可能就是个字符串,或者是数字(但因存在空值,导致出现了object类型)。通常大家所熟知的方法是使用astype进行类型转换,或者自己利用astype造个轮子,写个函数方法实现自动转换类型。本次东哥介绍一个pan.原创 2021-01-17 21:53:30 · 1617 阅读 · 0 评论