Pandas中文官档~基础用法5

最新推荐文章于 2022-09-03 11:00:15 发布
最新推荐文章于 2022-09-03 11:00:15 发布
阅读量239 收藏
点赞数
640?wx_fmt=png

.dt 访问器

Series 提供了一个可以简单、快捷返回 datetime 属性值的访问器。这个访问器返回的也是 Series，索引与现有的 Series 一样。

# datetime
In [264]: s = pd.Series(pd.date_range('20130101 09:10:12', periods=4))

In [265]: s
Out[265]: 
0   2013-01-01 09:10:12
1   2013-01-02 09:10:12
2   2013-01-03 09:10:12
3   2013-01-04 09:10:12
dtype: datetime64[ns]

In [266]: s.dt.hour
Out[266]: 
0    9
1    9
2    9
3    9
dtype: int64

In [267]: s.dt.second
Out[267]: 
0    12
1    12
2    12
3    12
dtype: int64

In [268]: s.dt.day
Out[268]: 
0    1
1    2
2    3
3    4
dtype: int64

用下列表达式进行筛选非常方便：

In [269]: s[s.dt.day == 2]
Out[269]: 
1   2013-01-02 09:10:12
dtype: datetime64[ns]

还可以轻易实现时区转换：

In [270]: stz = s.dt.tz_localize('US/Eastern')

In [271]: stz
Out[271]: 
0   2013-01-01 09:10:12-05:00
1   2013-01-02 09:10:12-05:00
2   2013-01-03 09:10:12-05:00
3   2013-01-04 09:10:12-05:00
dtype: datetime64[ns, US/Eastern]

In [272]: stz.dt.tz
Out[272]: <DstTzInfo 'US/Eastern' LMT-1 day, 19:04:00 STD>

还可以把这些操作连在一起：

In [273]: s.dt.tz_localize('UTC').dt.tz_convert('US/Eastern')
Out[273]: 
0   2013-01-01 04:10:12-05:00
1   2013-01-02 04:10:12-05:00
2   2013-01-03 04:10:12-05:00
3   2013-01-04 04:10:12-05:00
dtype: datetime64[ns, US/Eastern]

还可以用 Series.dt.strftime() 把 datetime 的值当成字符串进行格式化，支持与标准的 strftime() 同样的格式。

# DatetimeIndex
In [274]: s = pd.Series(pd.date_range('20130101', periods=4))

In [275]: s
Out[275]: 
0   2013-01-01
1   2013-01-02
2   2013-01-03
3   2013-01-04
dtype: datetime64[ns]

In [276]: s.dt.strftime('%Y/%m/%d')
Out[276]: 
0    2013/01/01
1    2013/01/02
2    2013/01/03
3    2013/01/04
dtype: object

# PeriodIndex
In [277]: s = pd.Series(pd.period_range('20130101', periods=4))

In [278]: s
Out[278]: 
0    2013-01-01
1    2013-01-02
2    2013-01-03
3    2013-01-04
dtype: period[D]

In [279]: s.dt.strftime('%Y/%m/%d')
Out[279]: 
0    2013/01/01
1    2013/01/02
2    2013/01/03
3    2013/01/04
dtype: object

.dt 访问器还支持 period 与 timedelta。

# period
In [280]: s = pd.Series(pd.period_range('20130101', periods=4, freq='D'))

In [281]: s
Out[281]: 
0    2013-01-01
1    2013-01-02
2    2013-01-03
3    2013-01-04
dtype: period[D]

In [282]: s.dt.year
Out[282]: 
0    2013
1    2013
2    2013
3    2013
dtype: int64

In [283]: s.dt.day
Out[283]: 
0    1
1    2
2    3
3    4
dtype: int64

# timedelta
In [284]: s = pd.Series(pd.timedelta_range('1 day 00:00:05', periods=4, freq='s'))

In [285]: s
Out[285]: 
0   1 days 00:00:05
1   1 days 00:00:06
2   1 days 00:00:07
3   1 days 00:00:08
dtype: timedelta64[ns]

In [286]: s.dt.days
Out[286]: 
0    1
1    1
2    1
3    1
dtype: int64

In [287]: s.dt.seconds
Out[287]: 
0    5
1    6
2    7
3    8
dtype: int64

In [288]: s.dt.components
Out[288]: 
   days  hours  minutes  seconds  milliseconds  microseconds  nanoseconds
0     1      0        0        5             0             0            0
1     1      0        0        6             0             0            0
2     1      0        0        7             0             0            0
3     1      0        0        8             0             0            0

::: tip 注意

用这个访问器处理不是 datetime 类型的值时，Series.dt 会触发 TypeError 错误。

:::

矢量化字符串方法

Series 支持字符串处理方法，操作数组中每个元素十分方便。这些方法会自动排除缺失值与空值，这也许是其最重要的特性。这些方法通过 Series 的 str 属性访问，一般情况下，这些操作的名称与内置的字符串方法一致。示例如下：

In [289]: s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca', np.nan, 'CABA', 'dog', 'cat'])

In [290]: s.str.lower()
Out[290]: 
0       a
1       b
2       c
3    aaba
4    baca
5     NaN
6    caba
7     dog
8     cat
dtype: object

这里还提供了强大的模式匹配方法，但工业注意，模式匹配方法默认使用正则表达式。

参阅矢量化字符串方法了解完整内容。

排序

Pandas 支持三种排序方式，按索引标签排序，按列里的值排序，按两种方式混合排序。

按索引排序

Series.sort_index() 与 DataFrame.sort_index() 方法用于按索引层级对 pandas 对象排序。

In [291]: df = pd.DataFrame({
   .....:     'one': pd.Series(np.random.randn(3), index=['a', 'b', 'c']),
   .....:     'two': pd.Series(np.random.randn(4), index=['a', 'b', 'c', 'd']),
   .....:     'three': pd.Series(np.random.randn(3), index=['b', 'c', 'd'])})
   .....: 

In [292]: unsorted_df = df.reindex(index=['a', 'd', 'c', 'b'],
   .....:                          columns=['three', 'two', 'one'])
   .....: 

In [293]: unsorted_df
Out[293]: 
      three       two       one
a       NaN -1.152244  0.562973
d -0.252916 -0.109597       NaN
c  1.273388 -0.167123  0.640382
b -0.098217  0.009797 -1.299504

# DataFrame
In [294]: unsorted_df.sort_index()
Out[294]: 
      three       two       one
a       NaN -1.152244  0.562973
b -0.098217  0.009797 -1.299504
c  1.273388 -0.167123  0.640382
d -0.252916 -0.109597       NaN

In [295]: unsorted_df.sort_index(ascending=False)
Out[295]: 
      three       two       one
d -0.252916 -0.109597       NaN
c  1.273388 -0.167123  0.640382
b -0.098217  0.009797 -1.299504
a       NaN -1.152244  0.562973

In [296]: unsorted_df.sort_index(axis=1)
Out[296]: 
        one     three       two
a  0.562973       NaN -1.152244
d       NaN -0.252916 -0.109597
c  0.640382  1.273388 -0.167123
b -1.299504 -0.098217  0.009797

# Series
In [297]: unsorted_df['three'].sort_index()
Out[297]: 
a         NaN
b   -0.098217
c    1.273388
d   -0.252916
Name: three, dtype: float64

按值排序

Series.sort_values() 方法用于按值对 Series 排序。DataFrame.sort_values() 方法用于按行列的值对 DataFrame 排序。DataFrame.sort_values() 的可选参数 by 用于指定按哪列排序，该参数的值可以是一列或多列数据。

In [298]: df1 = pd.DataFrame({'one': [2, 1, 1, 1],
   .....:                     'two': [1, 3, 2, 4],
   .....:                     'three': [5, 4, 3, 2]})
   .....: 

In [299]: df1.sort_values(by='two')
Out[299]: 
   one  two  three
0    2    1      5
2    1    2      3
1    1    3      4
3    1    4      2

参数 by 支持列名列表，示例如下：

In [300]: df1[['one', 'two', 'three']].sort_values(by=['one', 'two'])
Out[300]: 
   one  two  three
2    1    2      3
1    1    3      4
3    1    4      2
0    2    1      5

这些方法支持用 na_position 参数处理空值。

In [301]: s[2] = np.nan

In [302]: s.sort_values()
Out[302]: 
0       A
3    Aaba
1       B
4    Baca
6    CABA
8     cat
7     dog
2     NaN
5     NaN
dtype: object

In [303]: s.sort_values(na_position='first')
Out[303]: 
2     NaN
5     NaN
0       A
3    Aaba
1       B
4    Baca
6    CABA
8     cat
7     dog
dtype: object

按索引与值排序

0.23.0 版新增。

通过参数 by 传递给 DataFrame.sort_values() 的字符串可以引用列或索引层名。

# 创建 MultiIndex
In [304]: idx = pd.MultiIndex.from_tuples([('a', 1), ('a', 2), ('a', 2),
   .....:                                 ('b', 2), ('b', 1), ('b', 1)])
   .....: 

In [305]: idx.names = ['first', 'second']

# 创建 DataFrame
In [306]: df_multi = pd.DataFrame({'A': np.arange(6, 0, -1)},
   .....:                         index=idx)
   .....: 

In [307]: df_multi
Out[307]: 
              A
first second   
a     1       6
      2       5
      2       4
b     2       3
      1       2
      1       1

按 second（索引）与 A（列）排序。

In [308]: df_multi.sort_values(by=['second', 'A'])
Out[308]: 
              A
first second   
b     1       1
      1       2
a     1       6
b     2       3
a     2       4
      2       5

::: tip 注意

如果字符串、列名、索引层名重名，会触发警告提示，并以列名为准。后期版本中，这种情况将会触发模糊错误。

:::

搜索排序

Series 支持 searchsorted() 方法，这与numpy.ndarray.searchsorted() 的操作方式类似。

In [309]: ser = pd.Series([1, 2, 3])

In [310]: ser.searchsorted([0, 3])
Out[310]: array([0, 2])

In [311]: ser.searchsorted([0, 4])
Out[311]: array([0, 3])

In [312]: ser.searchsorted([1, 3], side='right')
Out[312]: array([1, 3])

In [313]: ser.searchsorted([1, 3], side='left')
Out[313]: array([0, 2])

In [314]: ser = pd.Series([3, 1, 2])

In [315]: ser.searchsorted([0, 3], sorter=np.argsort(ser))
Out[315]: array([0, 2])

最大值与最小值

Series 支持 nsmallest() 与 nlargest() 方法，本方法返回 N 个最大或最小的值。对于数据量大的 Series 来说，该方法比先为整个 Series 排序，再调用 head(n) 这种方式的速度要快得多。

In [316]: s = pd.Series(np.random.permutation(10))

In [317]: s
Out[317]: 
0    2
1    0
2    3
3    7
4    1
5    5
6    9
7    6
8    8
9    4
dtype: int64

In [318]: s.sort_values()
Out[318]: 
1    0
4    1
0    2
2    3
9    4
5    5
7    6
3    7
8    8
6    9
dtype: int64

In [319]: s.nsmallest(3)
Out[319]: 
1    0
4    1
0    2
dtype: int64

In [320]: s.nlargest(3)
Out[320]: 
6    9
8    8
3    7
dtype: int64

DataFrame 也支持 nlargest 与 nsmallest 方法。

In [321]: df = pd.DataFrame({'a': [-2, -1, 1, 10, 8, 11, -1],
   .....:                    'b': list('abdceff'),
   .....:                    'c': [1.0, 2.0, 4.0, 3.2, np.nan, 3.0, 4.0]})
   .....: 

In [322]: df.nlargest(3, 'a')
Out[322]: 
    a  b    c
5  11  f  3.0
3  10  c  3.2
4   8  e  NaN

In [323]: df.nlargest(5, ['a', 'c'])
Out[323]: 
    a  b    c
5  11  f  3.0
3  10  c  3.2
4   8  e  NaN
2   1  d  4.0
6  -1  f  4.0

In [324]: df.nsmallest(3, 'a')
Out[324]: 
   a  b    c
0 -2  a  1.0
1 -1  b  2.0
6 -1  f  4.0

In [325]: df.nsmallest(5, ['a', 'c'])
Out[325]: 
   a  b    c
0 -2  a  1.0
1 -1  b  2.0
6 -1  f  4.0
2  1  d  4.0
4  8  e  NaN

用多重索引的列排序

列为多重索引时，还可以显式排序，用 by 可以指定所有层级。

In [326]: df1.columns = pd.MultiIndex.from_tuples([('a', 'one'),
   .....:                                          ('a', 'two'),
   .....:                                          ('b', 'three')])
   .....: 

In [327]: df1.sort_values(by=('a', 'two'))
Out[327]: 
    a         b
  one two three
0   2   1     5
2   1   2     3
1   1   3     4
3   1   4     2

复制

在 pandas 对象上执行 copy() 方法，将复制底层数据（但不包括轴索引，因为轴索引不可变），并返回一个新的对象。注意，复制对象这种操作一般来说不是必须的。比如说，以下几种方式可以就地（inplace） 改变 DataFrame：

  • 插入、删除、修改列

  • 为 index 或 columns 属性赋值

  • 对于同质数据，用 values 属性或高级索引即可直接修改值

注意，用 pandas 方法修改数据不会带来任何副作用，几乎所有方法都返回新的对象，不会修改原始数据对象。如果原始数据有所改动，唯一的可能就是用户显式指定了要修改原始数据。

Sim1480
关注
Backtrader官方中文文档:第六章Data Feed数据源
汇渊科技
05-30 1654
官方Data Feed章节：https://backtrader.com/docu/datafeed/
第二十七篇：ES索引与知识图谱：构建智能问答系统
最新发布
AI天才研究院
05-13 823
随着人工智能和大数据技术的快速发展，智能问答系统在各行各业中得到了广泛应用。智能问答系统通过自然语言处理（NLP）技术，能够理解用户的提问，并提供准确的答案。构建一个高效、智能的问答系统需要综合利用多种技术，其中ES（Elasticsearch）索引和知识图谱是两种关键技术。ES索引是一种高效的全文搜索引擎，能够快速检索和分析大量文本数据。知识图谱则是一种结构化的知识表示方法，通过节点和边的形式来表示实体及其关系。将ES索引与知识图谱结合，可以大幅提升问答系统的智能化和准确性。
pandas官方文档中文版
04-16
pandas秘籍，中文说明，数据聚合、合并、分组、排序、画图等功能相当详尽，学习pandas的不二文档。
Pandas中文官档~基础用法3
python爬虫人工智能大数据
10-31 382
呆鸟云：“觉得有用，就请点个在看，哈哈”函数应用不管是为 pandas 对象应用自定义函数，还是应用其它第三方函数，都离不开以下三种方法。用哪种方法取决于操作的对象是 DataFrame 或 Series ，是行或列，还是元素。表级函数应用：`pipe()`行列级函数应用：apply()聚合 API：`agg()` 与 `transform()`元素级函数应用：`applymap()`表级函数应用...
Pandas速查手册中文版
热门推荐
不一样的Mayday 的博客
03-08 8万+
本文翻译自文章：Pandas Cheat Sheet - Python for Data Science，同时添加了部分注解。 对于数据科学家，无论是数据分析还是数据挖掘来说，Pandas是一个非常重要的Python包。它不仅提供了很多方法，使得数据处理非常简单，同时在数据处理速度上也做了很多优化，使得和Python内置方法相比时有了很大的优势。 如果你想学习Pandas，建议先看
Pandas官方文档（中文版）Pdf
SeizeeveryDay的博客
03-28 3459
大家好，我是小z~Pandas是一个强大的分析结构化数据的工具集；它的使用基础是Numpy（提供高性能的矩阵运算）；用于数据挖掘和数据分析，同时也提供数据清洗功能。学习Pandas最好的方...
Pandas中文官档 ~ 基础用法1
小詹学python的博客
10-17 467
呆鸟云：“在学习 Python 数据分析的过程中，呆鸟发现直接看官档就是牛逼啊，内容全面、丰富、详细，而 Python 数据分析里最核心的莫过于 pandas，于是就想翻...
python数据处理：pandas相关应用（一）
Lexi0305的博客
05-31 505
摘要：日常工作和学习中通常需要将手中的csv数据进行读取、清洗、预处理然后导出。Pandas作为强大的结构化数据分析工具集，它的使用基础是Numpy，用于数据挖掘和数据分析，同时也提供数据清洗功能。 pandas官方文档 1.数据读取 基础设置： #coding=utf-8 import pandas as pd import numpy as np #用于使输出的dataframe数据全部展
中文新闻分类 数据集_NLP-新闻文本分类实战
weixin_39965794的博客
10-21 3667
一、赛题理解赛题名称：零基础入门NLP之新闻文本分类 赛题目标：通过这道赛题可以引导大家走入自然语言处理的世界，带大家接触NLP的预处理、模型构建和模型训练等知识点。 赛题任务：赛题以自然语言处理为背景，要求选手对新闻文本进行分类，这是一个典型的字符识别问题。赛题数据赛题以匿名处理后的新闻数据为赛题数据，数据集报名后可见并可下载。赛题数据为新闻文本，并按照字符级别进行匿名处理。整合划分出14个候选...
强推 | 学习自然语言处理（NLP）的学习方法和资料合集
简书博客搬家测试账号
03-04 1052
欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！ 对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tstoutiao，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。 作者：乐雨泉，优秀的nlp学习者，在各类技术论坛和网站署名yuq...
pandas官方文档中文版_pandas_pandas文档_pandas中文_python_
09-29
官方网站上《10 Minutes to pandas》的一个简单的翻译，原文在这里。这篇文章是对 pandas 的一个简单的介绍，详细的介绍请参考：秘籍 。习惯上，我们会按下面格式引入所需要的包：
pandas官方文档中文版.pdf_pandas_
09-29
pandas 官方文档的中文版。是学习pandas的权威资料
pandas官方文档中文版_pandas_pandas文档_python_
10-02
pandas官方文档中文版，介绍pandas库的函数、用法
pandas官方文档中文版_python教程_pandas中文API_pandas中文_
10-02
含有多种pandas运用教程，包含代码仓库
pandas中文手册
03-13
pandas中文手册pandas-official-tut-zh.pdf作为查询文档使用
210页的《pandas官方文档中文版》.pdf
weixin_43373042的博客
09-03 8567
一个新人如果想要入行数据分析师的话，需要学习哪些知识点呢？之前和行业大佬讨教的时候，他们都非常认可这一点：一个优秀的数据分析师，应该是技能、统计学、业务sense的综合反映。不管你将来是从事数分行业，还是跳槽或自学数据分析，这三个部分缺一不可。如果你还没有业内人士的指点，找不到合适的学习方法？不要担心，根据我7年的数分岗工作经验，为大家总结了这个思维导图：数据分析知识图谱数据分析知识图谱如何使用 ...
十分钟掌握pandas（pandas官方文档翻译）
你不要担心
07-24 1万+
十分钟掌握pandas文档版本：0.20.3这是一个对pandas简短的介绍，适合新用户。你可以在Cookbook中查看更详细的内容。 通常，我们要像下面一样导入一些包。In [1]: import pandas as pdIn [2]: import numpy as npIn [3]: import matplotlib.pyplot as plt
Pandas中文官档~基础用法6
python爬虫人工智能大数据
11-03 277
呆鸟云：“这一系列长篇终于连载完了，还请大家关注 Python 大咖谈，这里专注 Python 数据分析，后期呆鸟还会给大家分享更多 Pandas 好文。”数据类型大多数情况下，pandas 使用 Numpy 数组、Series 或 DataFrame 里某列的数据类型。Numpy 支持 float、int、bool、timedelta[ns]、datetime64[ns]，注意，Numpy 不支...
Pandas 官方文档 翻译
weixin_44566452的博客
04-01 1662
本文档用于记录梧承本人学习 翻译：梧承 联系方式：chenwuji2000@foxmail.com 原文链接：User Guide — pandas 1.4.1 documentation 不定时更新 MultiIndex / advanced indexing 多重索引 / 进阶索引 This section covers indexing with a MultiIndex and other advanced indexing features See the Indexing and
pandas中文官方文档
12-01
Pandas中文官方文档是Pandas官方提供的中文文档，为中文用户提供了方便的学习和使用Pandas的资源。 Pandas中文官方文档详细介绍了Pandas库的各个方面，包含了常用的数据结构、数据处理、数据分析等内容。其中，最...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值