【pandas基础】--数据类型

数据类型是计算机编程中将不同类型的数据值分类和定义的方式。
通过数据类型,可以确定数据的存储方式和内存占用量,了解不同类型的数据进行各种运算的能力。

使用pandas进行数据分析时,最常用到的几种类型是:

  1. 字符串类型,各类文本内容都是字符串类型
  2. 数值类型,包括整数和浮点数,可用于计算
  3. 日期类型,日期在统计中非常重要,相关内容放在下一篇单独介绍
  4. category 类型,这个类型对于数据分类非常有用

1. 字符串类型

pandas字符串类型主要用于处理文本数据或包含文本数据的列。
它可以快速、方便地对文本数据进行操作,比如:

  • 字符串连接、分割、替换、提取等操作,例如将多个字符串合并成一个、将字符串按照特定分隔符拆分为多个子字符串等;
  • 数据清洗和预处理,例如去除空格、标点符号、数字等非文本内容,将文本转换为小写或大写,统一格式等;
  • 文本匹配和模式识别,例如使用正则表达式从文本中提取特定模式的内容等;
  • 筛选和排序,例如筛选包含特定字符或模式的数据行,对数据行按照字符串排序等;

字符串在python中是str类型。

In [1]: s = "hello"

In [2]: type(s)
Out[2]: str

但是在pandasDataFrame中则是object类型。

import pandas as pd

df = pd.DataFrame(
    {
        "name": ["小华", "小红", "小明"],
        "age": [12, 15, 13],
        "score": [80.5, 98.5, 80],
    },
)

df.dtypes

image.png

为什么在pandas中,字符串是object类型呢?
因为pandas中的数据类型继承自numpyndarrayndarray的每个元素都必须明确占用内存的大小。

对于int64float64来说,它们都占用8个字节的内存,而字符串由于长度不固定,无法确定占用内存的大小,所以都用object类型,这个object类型可以看做是一个指向实际存储字符串位置的的指针。

2. 数值类型

数值类型有两种,一种是整数,一种是浮点数(也就是平时说的小数)。
一般来说,各类分析算法以及可视化展示需要的都是数值类型,数值类型是我们分析数据时使用最多的部分。

上面的示例中,agescore列分别是整数和浮点数类型。

import pandas as pd

df = pd.DataFrame(
    {
        "name": ["小华", "小红", "小明"],
        "age": [12, 15, 13],
        "score": [80.5, 98.5, 80],
    },
)

df.dtypes

image.png

DataFrame中数值类型默认是64位的,可以存储更大的数字。

3. catagory 类型

pandas中的category类型是一种用于处理分类变量的数据类型。
它可以大大提高数据处理和计算效率,并减少内存占用。

在某些情况下,数据中的一些变量只包含有限的可能取值,例如“性别”、“地区”等,这些变量可以归类为分类变量。
如果将这些变量存储为字符串或数字形式,则可能会浪费大量的内存,因为每个变量都会占据大量的空间。
这就是category类型的用处:使用category类型可以将这些变量存储为原始数据的唯一值的散列表,从而大大减少了内存占用。

除了内存优化外,category类型还提供了一些便捷的方法来处理分类变量,例如自动排序和类别之间的比较。
因此,如果数据中包含分类变量,则应该使用category类型来优化数据处理和计算效率。

下面的示例,使用中国人口统计的相关数据,默认导入之后数据情况如下:

import pandas as pd

fp = "http://databook.top:8888/pandas/cn-people.csv"
df = pd.read_csv(fp)

df

image.png


各个列的默认类型如下:

df.dtypes

image.png


其中【指标编码】和【指标中文】列的类型其实是字符串。

各个列实际占用的内存大小:

df.memory_usage(deep=True)

image.png


Index表示索引所占用的内存大小,可以看出【指标编码】和【指标中文】占用的内存比较多,而且这两列重复数据也比较多。

尝试将【指标编码】和【指标中文】两列转换为catagory类型之后,看看内存占用是否减少。

df["指标中文"] = df["指标中文"].astype("category")
df["指标编码"] = df["指标编码"].astype("category")
df.dtypes

image.png


类型已经转换成功,看看pandas是如何给catagory类型编码的。

df["指标中文"].values.codes

image.png


可以看出,是用int8类型来编码,int8类型只占用1个字节的内存,总体应该能够节省不少内存空间。

df.memory_usage(deep=True)

image.png


【指标编码】和【指标中文】两列的内存占用只有原来的约1/200

4. 类型间的转换

pandas中的类型转换操作可以将一种数据类型转换为另一种数据类型,以便更好地处理和分析数据。

数据类型的选择会影响数据的存储方式和计算速度,因此,在不同的情况下,数据类型的选择是非常重要的,正确的选择可以有效地提高代码的性能和准确性。
例如,将文本数据转换为数字数据,可以使得数据更容易进行数值运算和可视化,从而方便地做出相关的决策和分析。

类型转换常用的两种方式是astype函数和自定义函数。

4.1 astype

类型转换最常用的方法是astype,前面介绍catagory类型时,示例中已经演示了字符串类型到catagory类型的转换。

数值类型之间,或者数值类型和字符串类型之间也是可以互相转换的。

df = pd.DataFrame(
    {
        "name": ["小华", "小红", "小明"],
        "age": [12, 15, 13],
        "score": [80.5, 98.5, 80],
    },
)
print(df.dtypes)
# int64 ==> float64
df.age = df.age.astype("float64")

# float64 ==> string
df.score = df.score.astype("str")
print(df.dtypes)

image.png

4.2 自定义函数

字符串类型也是可以转换成数值类型的,前提是字符串的内容得是数值。

df = pd.DataFrame(
    {
        "name": ["小华", "小红", "小明"],
        "money": ["¥55", "¥12", "¥58"],
        "score": ["80.5", "98.5", "80"],
    },
)
print(df.dtypes)
# df.name.astype("int64")
# df.money.astype("int64")
df.score = df.score.astype("float64")
print(df.dtypes)

image.png


score列有字符串类型转换为了float64类型,另外代码中注释的两行是不能成功转换的,去掉注释后,代码执行时会抛出异常错误。

看上面的示例数据,name列是不太可能转成数值类型的,但是money列只是多了一个人民币符号,其实这列本质上应该是数值类型,也许后续需要根据这列的数值来分析花费的费用等情况。

这时,直接用astype是无法完成类型转换的,要用自定义函数来去掉人民币符号,再转换成数值类型。

df = pd.DataFrame(
    {
        "name": ["小华", "小红", "小明"],
        "money": ["¥55", "¥12", "¥58"],
        "score": ["80.5", "98.5", "80"],
    },
)

convert = lambda s: float(s.replace("¥", ""))

print(df.dtypes)
df.money = df.money.apply(convert)
print(df.dtypes)

image.png


通过自定义的convert函数,money列成功转换成了float64类型。

  • 36
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
### 回答1: pandas-official-tut-zh epub是指Pandas官方教程的中文电子书格式。Pandas是一个强大的数据分析和处理库,被广泛应用于数据科学和数据分析领域。Pandas官方教程提供了详细的指导和示例,帮助用户学习和使用Pandas库。 这本Pandas官方教程的中文电子书以epub格式提供,这意味着我们可以在支持epub格式的电子书阅读器或软件中阅读它。epub格式是一种开放的电子书标准,可以自由地在各种平台上阅读,如电脑、平板电脑、智能手机等。使用epub格式的好处是,它可以根据设备的屏幕尺寸和用户的设置自动调整页面布局和字体大小,提供更好的阅读体验。 这本教程的目标是帮助读者从零开始学习Pandas,并逐步深入了解其功能和用法。它提供了丰富的示例代码和实践演练,以帮助读者掌握Pandas的各种技术和技巧。教程涵盖了Pandas的基本数据结构,如Series和DataFrame,以及它们的索引、切片、过滤、排序等操作。此外,还介绍了Pandas的数据清洗、处理缺失值、数据合并、分组聚合等高级技术。 这本教程的中文版本使更多母语为中文的读者能够更轻松地学习和理解Pandas的概念和功能。epub格式的电子书具有良好的可读性和易于导航的特点,读者可以根据自己的需求和节奏进行学习,随时随地获取所需的知识。 总之,pandas-official-tut-zh epub是一本Pandas官方教程的中文电子书,提供了全面且易于理解的Pandas学习资源,可帮助读者入门并熟练使用该库。无论是初学者还是有经验的数据科学家,都可以从中受益,并将其应用于实际的数据分析项目中。 ### 回答2: pandas-official-tut-zh epub是一本关于pandas库的官方指南的电子书。Pandas是一个强大的数据分析工具,它使用Python编程语言开发。这本电子书提供了从基础概念到高级用法的全面介绍,将帮助读者掌握该库的各种功能和技巧。 该电子书以易于理解和直观的方式解释了pandas库的核心概念,如数据结构、索引和选择、数据聚合和生成等。读者可以通过电子书学习如何使用pandas来处理、清洗和分析各种类型的数据,包括结构化数据、时间序列数据和文本数据。 电子书的内容结构清晰,各章节之间有明确的连贯性,使读者可以系统地学习和理解pandas库的功能和用法。除了基本的数据操作,该电子书还介绍了一些高级特性,如数据合并、重塑和透视等,以及与其他Python工具库的集成。 pandas-official-tut-zh epub不仅提供了理论知识,还包含了丰富的实例代码和可运行的示例,读者可以通过这些实例更深入地理解和运用pandas库。此外,该电子书还提供了一些实际的案例研究,展示了pandas在真实世界中的应用。 总之,pandas-official-tut-zh epub是一本非常有价值的电子书,适合对数据处理和分析感兴趣的读者。无论是初学者还是有一定经验的开发者,都可以从该电子书中获得关于pandas库的全面指导和实用技巧。 ### 回答3: pandas-official-tut-zh epub是一个关于Python数据分析库Pandas的中文官方教程的电子书文件。Pandas是一个强大的数据处理和分析工具,可用于处理和操作大型数据集。 首先,这本电子书是官方教程,意味着内容是由Pandas开发团队编写的,可以保证信息的准确性和可靠性。它提供了详细的指导和示例,帮助读者了解Pandas的基本功能和高级技术。 这本教程以epub格式提供,这意味着它可以在各种电子设备上进行阅读,如电脑、平板电脑和智能手机。由于epub格式具有自适应屏幕大小和排版的优势,因此读者可以在任何设备上获得良好的阅读体验。 该教程分为多个章节,从介绍Pandas的基本概念和数据结构开始,逐步深入讲解Pandas的应用和高级功能。它涵盖了数据清洗、转换、聚合、合并等方面的常见任务,以及时间序列和数据可视化等更高级的主题。 读者可以通过学习这本教程来掌握Pandas的核心概念和操作技巧,从而更有效地进行数据分析和处理。这对于数据科学家、数据分析师和Python开发者来说都是非常有价值的资源。 总而言之,pandas-official-tut-zh epub是一本官方编写的关于Python数据分析库Pandas的中文教程电子书,为读者提供了全面而系统的学习资源,帮助他们掌握Pandas的各种功能和技术。无论是初学者还是有经验的用户都可以从中受益,并且它的epub格式使得阅读更加方便和灵活。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

野生的狒狒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值