Pandas是用于数据操作和分析的强大库

最新推荐文章于 2024-03-17 19:29:43 发布
最新推荐文章于 2024-03-17 19:29:43 发布
阅读量3.9k 收藏 26
点赞数 3
文章标签： python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/book_dw5189/article/details/131255224
版权

Python中有许多流行的统计分析库，下面是其中一些主要的库及其主要用法：

  1. NumPy：

    • 用途：NumPy是Python中的数值计算库，提供多维数组对象和各种数学函数，用于高效处理大规模数据和执行数值计算。
    • 主要用法：创建和操作多维数组、执行数值计算、线性代数运算、傅里叶变换等。

  2. Pandas：

    • 用途：Pandas是用于数据操作和分析的强大库，提供了高性能、灵活且易于使用的数据结构，如Series和DataFrame。
    • 主要用法：数据清洗、数据重塑、数据聚合、数据分组、数据合并、时间序列处理、数据可视化等。

  3. Matplotlib：

    • 用途：Matplotlib是Python中广泛使用的绘图库，提供了丰富的绘图功能，可创建各种类型的图表和可视化。
    • 主要用法：绘制线图、散点图、柱状图、饼图、箱线图、热图、3D图等。

  4. Seaborn：

    • 用途：Seaborn是基于Matplotlib的高级数据可视化库，提供了更简单的界面和更丰富的统计图表。
    • 主要用法：绘制统计图表、处理分类数据、绘制分布图、绘制相关性矩阵图、多变量分析等。

  5. SciPy：

    • 用途：SciPy是用于科学计算和技术计算的库，提供了许多数学、科学和工程计算的功能。
    • 主要用法：数值积分、优化、插值、信号处理、图像处理、统计分析、线性代数等。

  6. Statsmodels：

    • 用途：Statsmodels是用于统计建模和计量经济学的库，提供了广泛的统计模型和统计测试的功能。
    • 主要用法：线性回归、时间序列分析、假设检验、方差分析、逻辑回归、生存分析等。

  7. Scikit-learn：

    • 用途：Scikit-learn是机器学习库，提供了各种机器学习算法和工具，用于数据挖掘和数据分析。
    • 主要用法：分类、回归、聚类、降维、模型选择和评估、特征工程等。

这些库的用法可以根据具体需求而异，可以通过官方文档、教程和示例来学习和了解各个库的更多用法和功能。

 ----------------

  • Pandas主要用于以下方面的数据操作和分析：

  1. 数据结构：

    • Series：一维标记数组，类似于带标签的数组，可存储不同类型的数据。
    • DataFrame：二维表格数据结构，包含多个列，每列可以是不同的数据类型。

  2. 数据清洗：

    • 选择数据：根据条件或标签选择特定的行和列。
    • 缺失值处理：填充、删除或插值处理缺失值。
    • 异常值处理：识别和处理异常值。
    • 数据转换：应用函数、映射、替换和重命名列等。

  3. 数据重塑：

    • 重塑索引：重新设置索引或更改索引的层次结构。
    • 数据透视表：根据行和列的值聚合数据，并提供分组统计。
    • 堆叠和展开：在行和列之间转换数据的形状。

  4. 数据聚合和分组：

    • 分组操作：根据某些标准将数据分组，然后应用聚合函数（如求和、平均值、计数等）。
    • 滚动和展开窗口：执行滚动计算和窗口函数操作。

  5. 数据合并和连接：

    • 合并数据集：根据键将多个数据集水平或垂直地连接。
    • 连接操作：使用数据库风格的连接操作（如内连接、外连接等）。

  6. 时间序列处理：

    • 时间索引和重采样：将时间列设置为索引，对时间序列进行重采样和频率转换。
    • 移动窗口统计：执行滑动窗口的时间序列统计计算。

  7. 数据可视化：

    • 绘制图表：生成各种类型的图表，如线图、柱状图、散点图、箱线图等。
    • 交互式可视化：与其他库（如Matplotlib和Seaborn）结合使用，创建交互式图形。

Pandas提供了丰富的函数和方法来支持这些用法，同时还具备高性能和灵活性，使得数据操作和分析变得更加便捷和高效

 

import pandas as pd

# 创建Series
data = [1, 2, 3, 4, 5]
s = pd.Series(data)

# 选择数据
print(s[2])  # 获取索引为2的元素
print(s[1:4])  # 获取索引1到3的元素

import pandas as pd

# 创建DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
        'Age': [25, 30, 35],
        'City': ['New York', 'London', 'Paris']}
df = pd.DataFrame(data)

# 选择数据
print(df['Name'])  # 获取Name列
print(df.loc[1])  # 获取索引为1的行数据

import pandas as pd

# 创建包含缺失值的DataFrame
data = {'A': [1, 2, None, 4],
        'B': [5, None, 7, 8]}
df = pd.DataFrame(data)

# 填充缺失值
df.fillna(0, inplace=True)
print(df)

# 删除包含缺失值的行
df.dropna(inplace=True)
print(df)

import pandas as pd

# 创建DataFrame
data = {'City': ['New York', 'London', 'Paris', 'London', 'Paris'],
        'Year': [2020, 2020, 2020, 2021, 2021],
        'Sales': [100, 200, 150, 300, 250]}
df = pd.DataFrame(data)

# 创建数据透视表
pivot_table = pd.pivot_table(df, values='Sales', index='City', columns='Year', aggfunc='sum')
print(pivot_table)

import pandas as pd

# 创建DataFrame
data = {'City': ['New York', 'London', 'Paris', 'London', 'Paris'],
        'Year': [2020, 2020, 2020, 2021, 2021],
        'Sales': [100, 200, 150, 300, 250]}
df = pd.DataFrame(data)

# 分组聚合操作
grouped = df.groupby('City').agg({'Sales': 'sum', 'Year': 'mean'})
print(grouped)

import pandas as pd

# 创建DataFrame
data1 = {'Name': ['Alice', 'Bob', 'Charlie'],
         'Age': [25, 30, 35]}
data2 = {'Name': ['Bob', 'Charlie', 'Dave'],
         'City': ['London', 'Paris', 'Berlin']}
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)

# 合并DataFrame
merged = pd.merge(df1, df2, on='Name')
print(merged)

import pandas as pd
import matplotlib.pyplot as plt

# 创建DataFrame
data = {'Year': [2018, 2019, 2020, 2021],
        'Sales': [100, 200, 150, 300]}
df = pd.DataFrame(data)

# 绘制线图
df.plot(x='Year', y='Sales', kind='line')
plt.show()

import pandas as pd

# 创建DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
        'Age': [25, 30, 35],
        'City': ['New York', 'London', 'Paris']}
df = pd.DataFrame(data)

# 根据条件选择行
selected_rows = df[df['Age'] > 30]
print(selected_rows)

# 根据条件选择列
selected_columns = df[['Name', 'City']]
print(selected_columns)

import pandas as pd

# 创建包含缺失值的DataFrame
data = {'A': [1, None, 3, None],
        'B': [5, 6, None, 8]}
df = pd.DataFrame(data)

# 填充缺失值
df_filled = df.fillna(0)  # 使用0填充缺失值
print(df_filled)

# 删除包含缺失值的行
df_dropped = df.dropna()  # 删除包含缺失值的行
print(df_dropped)

# 使用插值方法填充缺失值
df_interpolated = df.interpolate()  # 使用插值方法填充缺失值
print(df_interpolated)

import pandas as pd

# 创建DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
        'Age': [25, 200, 35],  # 包含异常值
        'City': ['New York', 'London', 'Paris']}
df = pd.DataFrame(data)

# 识别异常值
outliers = df[df['Age'] > 100]
print(outliers)

# 处理异常值
df.loc[df['Age'] > 100, 'Age'] = 30  # 将异常值替换为特定值
print(df)

import pandas as pd

# 创建DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
        'Age': [25, 30, 35],
        'City': ['New York', 'London', 'Paris']}
df = pd.DataFrame(data)

# 应用函数
df['Age'] = df['Age'].apply(lambda x: x * 2)  # 将Age列的值乘以2
print(df)

# 映射值
mapping = {'New York': 'USA', 'London': 'UK', 'Paris': 'France'}
df['Country'] = df['City'].map(mapping)  # 根据City列映射出Country列的值
print(df)

# 替换值
df['City'] = df['City'].replace('New York', 'NY')  # 将City列中的'New York'替换为'NY'
print(df)

# 重命名列
df.rename(columns={'Name': 'FullName'}, inplace=True)  # 将Name列重命名为FullName
print(df)

import pandas as pd

# 创建DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
        'Age': [25, 30, 35],
        'City': ['New York', 'London', 'Paris']}
df = pd.DataFrame(data)

# 根据条件选择行
selected_rows = df[df['Age'] > 25]  # 选择Age列大于25的行
print(selected_rows)

# 根据条件选择列
selected_columns = df[['Name', 'City']]  # 选择Name列和City列
print(selected_columns)

# 使用loc和iloc选择行和列
selected_rows = df.loc[df['Age'] > 25]  # 使用loc选择满足条件的行
print(selected_rows)

selected_columns = df.loc[:, ['Name', 'City']]  # 使用loc选择指定的列
print(selected_columns)

selected_rows = df.iloc[[0, 2]]  # 使用iloc选择指定的行
print(selected_rows)

selected_columns = df.iloc[:, [0, 2]]  # 使用iloc选择指定的列
print(selected_columns)

在这个示例中，我们使用了条件选择和标签选择的两种方法。使用条件选择时，我们可以通过指定条件，例如df['Age'] > 25，来选择满足条件的行。使用标签选择时，我们可以使用方括号[]选择指定的列，例如df[['Name', 'City']]。此外，还可以使用loc和iloc方法选择行和列，其中loc使用标签进行选择，iloc使用索引位置进行选择。

import pandas as pd

# 创建DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],
        'Age': [25, 30, 35],
        'City': ['New York', 'London', 'Paris']}
df = pd.DataFrame(data)

# 根据条件选择行
selected_rows = df[df['Age'] > 25]
print(selected_rows)
# 输出：
#       Name  Age     City
# 1      Bob   30   London
# 2  Charlie   35    Paris

# 根据条件选择多个条件的行
selected_rows_multiple_conditions = df[(df['Age'] > 25) & (df['City'] == 'London')]
print(selected_rows_multiple_conditions)
# 输出：
#   Name  Age    City
# 1  Bob   30  London

# 根据标签选择列
selected_columns = df[['Name', 'City']]
print(selected_columns)
# 输出：
#       Name     City
# 0    Alice  New York
# 1      Bob   London
# 2  Charlie    Paris

import pandas as pd

# 创建包含缺失值的DataFrame
data = {'A': [1, 2, None, 4],
        'B': [5, None, 7, 8]}
df = pd.DataFrame(data)

# 填充缺失值
df_filled = df.fillna(0)  # 使用0填充缺失值
print(df_filled)
# 输出:
#      A    B
# 0  1.0  5.0
# 1  2.0  0.0
# 2  0.0  7.0
# 3  4.0  8.0

# 删除包含缺失值的行
df_dropped = df.dropna()  # 删除包含缺失值的行
print(df_dropped)
# 输出:
#      A    B
# 0  1.0  5.0

# 插值处理缺失值
df_interpolated = df.interpolate()  # 使用插值方法填充缺失值
print(df_interpolated)
# 输出:
#      A    B
# 0  1.0  5.0
# 1  2.0  6.0
# 2  3.0  7.0
# 3  4.0  8.0

在示例代码中，我们创建了一个包含缺失值的DataFrame。然后我们展示了三种常见的缺失值处理方法：

  • 使用填充方法（fillna）可以将缺失值替换为指定的值，这里我们使用0进行填充。
  • 使用删除方法（dropna）可以删除包含缺失值的行，这样会丢失对应的数据。
  • 使用插值方法（interpolate）可以根据已知的值推断并填充缺失值，这里我们使用线性插值进行填充
import pandas as pd

# 创建DataFrame
data = {'Age': [25, 30, 35, 150]}
df = pd.DataFrame(data)

# 识别异常值
outliers = df[(df['Age'] < 0) | (df['Age'] > 100)]
print(outliers)
# 输出:
#     Age
# 3   150

# 处理异常值
df['Age'] = df['Age'].clip(lower=0, upper=100)  # 将异常值截断为指定范围
print(df)
# 输出:
#    Age
# 0   25
# 1   30
# 2   35
# 3  100

在示例代码中，我们创建了一个包含异常值的DataFrame。然后我们展示了两种常见的异常值处理方法：

  • 识别异常值：使用条件语句来筛选出超过指定范围的值。
  • 处理异常值：使用clip方法将超过指定范围的值截断为指定范围内的值，这里我们将超过0到100范围之外的值截断为0和100。
铁松溜达py
关注
  • 3
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python数据分析与处理---Pandas库介绍
VN520的博客
02-20 7736
Pandas是数据分析三大剑客之一，是Python的核心数据分析库，它提供了快速、灵活、明确的数据结构，能够简单、直观、快速地处理各种类型的数据，具体介绍如下所示Pandas能够处理以下类型的数据：1.与SQL或Excel表类似的数据2.有序和无序（非固定频率）的时间序列数据3.带行、列标签的矩阵数据4.任意其他形式的观测、统计数据集。
Pandas：强大的Python数据分析工具包
qq_40985985的博客
10-30 3671
pandas是一个Python包，提供快速，灵活和富有表现力的数据结构，旨在既简单又直观的处理“关系”或“标记”数据。它旨在成为在Python中进行实际，真实世界数据分析的基本高级构建块。 pandas是一个开源的，BSD许可的库，为Python编程语言提供高性能，易于使用的数据结构和数据分析工具。
Python基础教程:强大的Pandas数据分析库
lyy2017175913的博客
07-17 1816
本文这些示例只是Pandas应用的一小部分，只是为了使我们在学习中对Pandas有初步的了解。Pandas还提供了许多其他强大的功能，使数据分析和处理更加便捷。下面是一些扩展的Pandas功能：• 合并数据：Pandas提供了多种方法来合并不同的数据集，例如使用merge()函数按照指定的列将多个DataFrame进行合并，使用concat()函数沿着指定轴将多个DataFrame堆叠在一起，以及使用join()函数根据索引或列的值进行连接。• 拆分数据：你可以使用split()
pandas库
shi_zi_183的博客
09-08 4160
pandas库 pandas是Python的一个非常强大的数据分析库，提供了高性能易用的数据类型，以及大量能使我们能使我们快速便捷地处理数据地函数和方法。pandas地核心数据结构有两种，即一维数组地Series对象和二维表格型地DataFrame对象，数据分析相关地所有事务都是围绕这两种对象进行的。 安装pandas pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas Series对象 Series对象的创建 Series对象是一
【Python】Pandas的基本功能及使用人群
奥利文儿的博客
07-17 1200
Pandas对数据的处理是为数据分析服务的，它所提供的各种数据处理方法、工具是基于数理统计学的，包含了日常应用中的众多数据分析方法。我们学习它不仅要掌控它的相应技术，还要从它的数据处理思路中学习数据分析的理论和方法。特别地，如果你想要成为数据分析师、数据产品经理、数据开发工程师等与数据相关的工作者，学习Pandas能让你深入数据理论和实践，更好地理解和应用数据。...
【Python】数据分析：如何使用 Pandas 的功能
黎明总是如期而至
06-15 2973
Pandas 是一个 Python 数据分析库，提供了强大的数据处理和分析功能，包括数据读取、清洗、转换、合并、分析、统计和可视化等。需要练习pandas相关功能。教你如何使用Pandas做数据分析。
python数据分析之Pandas数据结构和操作
02-24
比如，学生成绩分析，股票数据分析等4、提供数据清洗功能Pands数据结构，主要分为两种，Series和DataFrame1、类似一维数组的对象2、通过list构建Seriesser_obj=pd.Series(rang(10))3、由数据和索引组成索引在左，...
Pandas 是一个功能强大的 Python 数据分析库
最新发布
05-10
Pandas 是一个功能强大的 Python 数据分析库，它在数据分析和处理领域有着广泛的应用场景： 1. **数据清洗**：Pandas 提供了丰富的函数和方法来处理缺失数据、去除重复数据、数据类型转换等，帮助用户将原始数据...
Pandas 强大的Python数据分析工具-python
06-18
Pandas 是一个遵循BSD许可证的基于Python的开源库，提供高...让 Series、DataFrame 等在计算中自动对齐数据 强大、灵活的分组功能来执行数据集上的 split-apply-combine 操作，用于聚合和转换数据 可以轻松地将其他 P
Python数据分析必备-Pandas库汉化手册.docx
10-30
Pandas是Python中用于数据分析的核心库，它提供了大量高效的数据结构，如DataFrame和Series，以及强大的数据操作和清洗功能。本手册旨在为中文用户详细解读Pandas库的各种对象、函数和方法，帮助用户更好地理解和...
数据分析+pandas
01-22
Pandas与Matplotlib或Seaborn等库结合，可用于数据可视化，如`df.plot(kind='bar')`绘制柱状图。 总之，Pandas为数据分析提供了强大的工具，无论是在数据预处理、探索性分析还是数据清洗等方面都有出色的表现。...
Python 通过pandas进行数据处理
ailianda的博客
05-09 204
对数据进行处理： 1、第一步，数据清洗。 根据列条件筛选出满足列条件的所有行数据。 2、第二步，根据列操作数据
超全面 pandas 数据预处理+数据概览 处理技巧整理（持续更新版）
如果没有躺赢的命，那就站起来奔跑，你的努力一定会对得起这一路的颠沛流离。
03-10 1676
简单的说包括了分块读大文件和编码，遍历和速度计算、定位提取单个和多个连续不连续单元格/行/列，高阶函数，行列条件去重，判空条件去空，1/2维度转换，数据导出，nlp去标点算切词统计建词典，正则表达式提字符，增删改查行列单元格，合并行列，行列数据加减乘除乘方log，皮尔逊预先相似度应用，各种列关联运算，数据统计概览，数据排序，数据统计取值数量，画散点图饼图柱状图热力图等等，有很多细节在里面，调试了很多bug，考研当词典用
Pandas库相关用法总结【万字梳理，用法描述+代码示例结果，详细实用！】
TFY_Newone的博客
03-17 1265
本文总结归纳了使用pandas库对dataframe格式数据进行各类预处理、统计、和分析过程中常用的一些函数和应用场景，希望能帮助看到的小伙伴在日常调试时少走弯路。
python获取对象唯一索引的函数_Python数据分析之Pandas库（笔记）
weixin_39801356的博客
12-15 428
Pandas数据结构pandas有两个基本的数据结构：Series和DataFrame。1.1 创建Series数据需要引入pandas模块：import pandas as pd需要引入Series和DataFrame： from pandas import Series,DataFrameSeries数据：索引在左，值在右Series有values和index属性，可返还值数据的数据形式和索...
python pandas库的学习笔记二pandas的基本功能
一路前行
08-11 3911
1.重新索引 pandas对象的一个重要的方法就是reindex，作用是创建一个适应新索引的新对象。 >>> import numpy as np >>> import pandas as pd >>> from pandas import Series,DataFrame >>> obj=Series([4.5,7.2,-5.3,3.6],index=['d','b','a','c'])
pandas应用
a1234556667的博客
09-26 957
模拟转盘游戏 import numpy as np import pandas as pd #模拟转盘100000次 data = np.random.ranf(100000) #奖项等级划分 category = (0.0,0.08,0.3,1.0) labels = ('一等奖'，'二等奖'，'三等奖') #对模拟数据进行划分 result = pd.cut(data, category,labels=labels) results = pd.value_counts(result) print(r
pandas的基本用法(一)——数据定义及使用
SnailTyan
04-27 3388
pandas的基本用法(一)——数据定义及使用
什么是 Pandas?
热门推荐
千里之行始于足下
10-29 1万+
– Start 什么是 Pandas? Pandas 是 Python 的外部模块，它非常像 Excel，提供了分析数据的功能。它提供了两个数据类型 Series 和 DataFrame。 什么是 Series？ Series 是 Pandas 提供的一种数据类型，你可以把它想象成 Excel 的一行或一列。 import numpy as np import pandas as pd # 创建...
pandas 数据分析
08-02
pandas和numpy是Python中常用的数据分析库，可以用于处理和分析各种数据。以下是一些pandas和numpy的数据分析实例： 1. 数据清洗：使用pandas清洗数据，包括去除重复值、处理缺失值、转换数据类型等。 2. 数据可视化：使用pandas和matplotlib库进行数据可视化，包括绘制折线图、柱状图、散点图等。 3. 数据分析：使用pandas和numpy进行数据分析，包括计算统计量、数据聚合、数据透视表等。 4. 机器学习：使用pandas和numpy进行机器学习，包括数据预处理、特征工程、模型训练等。 5. 时间序列分析：使用pandas进行时间序列分析，包括时间序列数据的处理、分析和预测等。 总之，pandas和numpy是Python中非常强大的数据分析工具，可以帮助我们更好地处理和分析各种数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值