phthon爬虫之pandas示例详解

Pandas是一个高性能，易于使用的数据处理和分析库，在Python数据科学生态系统中扮演着重要的角色。 它是许多数据分析师、科学家和程序员的首选工具之一，以其优秀的性能和强大的功能而闻名。

下面我们将具体讲解一下：

1.如何读取 Excel 数据

Pandas主要使用read_excel()方法来读取Excel数据。该方法用于从 Excel 文件中读取数据，可以指定读取哪些Sheet以及Excel中数据的关联信息：

# 读取Excel文件和sheet名称
df = pd.read_excel('sales_data.xlsx', sheet_name='Sheet1', usecols=['OrderNumber', 'PurchaseDate', 'CustomerName', 'ProductName', 'ProductQuantity', 'ProductPrice'])

可以通过sheet_name参数指定Excel文件的哪个Sheet。我们使用usecols来指定要读取的列名称，这可以提高程序性能并保护数据的隐私性。

2.如何查看和操作数据

Pandas提供了几种方法来查看和操作数据，其中包括head()、tail()、loc()、iloc()、at() 和iat() 等方法。

head() 方法可以用来查看前几行，tail() 方法可以用来查看后几行的数据:

print(df.head())
print(df.tail())

loc()、iloc()、at() 和 iat()方法则可以用来选择特定的行、列或单元格：

# 选择第2行到第5行
df_slice = df.loc[2:5]

# 选择ProductName列的前5行
df_col = df.loc[:4, 'ProductName']

# 选择第5行、ProductName列的值
cell = df.at[4, 'ProductName']

3.如何对数据进行处理

可以使用Pandas的一系列方法来处理数据。例如，使用drop()方法来删除指定行或列，使用apply()方法来对数据进行操作, 使用fillna()方法来填补缺失的数据。

# 删除一列
df = df.drop('ProductPrice', axis = 1)

# 替换所有NaN值
df.fillna(0, inplace=True)

# 对所有行中的ProductName列的值添加前缀 "PRODUCT: "
df['ProductName'] = df['ProductName'].apply(lambda x: "PRODUCT: " + str(x))

4.如何对数据进行聚合和统计

Pandas提供了groupby()方法用于对数据进行聚合和统计，可以对单列或多列进行分组，然后对每个组进行聚合计算，如求和、平均值、最小、最大等。

# 根据顾客姓名分组，计算每个顾客的销售额和平均销售额
grouped_data = df.groupby('CustomerName')['ProductQuantity'].agg(['sum', 'mean']).reset_index()

5.如何将数据存储到文件中

保存已处理数据到文件中是数据分析工作的最后一步。Pandas支持多种存储数据的文件格式，包括CSV、Excel和SQL数据库等。

# 将数据保存到Excel文件中
grouped_data.to_excel('sales_summary.xlsx', index=False)

以上就是Pandas的一些常用操作和方法示例。它能够帮助数据分析师更快地处理数据、做出更好的决策。