利用Python根据年份和月份进行分组，降水量按月求和，气温按月求平均

___Y1

已于 2024-05-23 14:01:08 修改

阅读量217

点赞数 2

分类专栏：气象数据处理文章标签： python 开发语言

于 2024-05-11 22:06:07 首次发布

本文链接：https://blog.csdn.net/weixin_44259522/article/details/138682576

版权

气象数据处理专栏收录该内容

50 篇文章 2 订阅

订阅专栏

import os
import pandas as pd

# 获取文件夹路径
folder_path = r'D:\R\summer'

# 获取文件夹中所有.xlsx文件的路径
file_paths = [os.path.join(folder_path, f) for f in os.listdir(folder_path) if f.endswith('.xlsx')]

# 遍历每个文件
for file_path in file_paths:
    # 读取文件
    data = pd.read_excel(file_path)
    
    # 根据年份和月份进行分组，降水量按月求和，气温按月求平均
    grouped = data.groupby(['YEAR', 'MONTH']).agg({'PRCP': 'sum', 'TEMP': 'mean'}).reset_index()
    
    # 将处理后的数据保存到新的文件中
    output_path = os.path.join(folder_path, f'{os.path.splitext(os.path.basename(file_path))[0]}_processed.xlsx')
    grouped.to_excel(output_path, index=False)
    
    print(f"Processed file saved to: {output_path}")

让我们逐个解析这段代码中每个函数的含义、用法，并进行举例说明：

1. **`os.path.join(folder_path, f)`：**

- **含义：** 将多个路径组合成一个完整的路径。

- **用法：** 接受一个或多个路径组件作为参数，并返回一个包含所有路径组件的字符串，作为一个完整的路径。

- **示例：**
```python
import os

folder_path = r'D:\R\summer'
file_name = 'data.xlsx'
file_path = os.path.join(folder_path, file_name)
```

2. **`os.listdir(folder_path)`：**

- **含义：** 返回指定目录下的所有文件和目录的名称列表。

- **用法：** 接受一个路径作为参数，返回该路径下所有文件和目录的名称列表。

- **示例：**
```python
import os

folder_path = r'D:\R\summer'
files_and_dirs = os.listdir(folder_path)
```

3. **`f.endswith('.xlsx')`：**

- **含义：** 检查字符串是否以指定的后缀结尾。

- **用法：** 接受一个字符串作为参数，并返回一个布尔值，指示该字符串是否以指定的后缀结尾。

- **示例：**
```python
file_name = 'data.xlsx'
if file_name.endswith('.xlsx'):
print("该文件是 Excel 文件")
```

4. **`pd.read_excel(file_path)`：**

- **含义：** 从 Excel 文件中读取数据并返回一个 DataFrame。

- **用法：** 接受一个文件路径作为参数，并返回一个包含 Excel 数据的 DataFrame。

- **示例：**
```python
import pandas as pd

file_path = r'D:\R\summer\data.xlsx'
data = pd.read_excel(file_path)
```

5. **`data.groupby(['YEAR', 'MONTH']).agg({'PRCP': 'sum', 'TEMP': 'mean'}).reset_index()`：**

- **含义：** 根据指定的列进行分组，然后对每个分组应用指定的聚合函数，并重置索引。

- **用法：** 使用 `groupby()` 方法按指定列名进行分组，然后使用 `agg()` 方法对每个分组应用聚合函数，最后使用 `reset_index()` 方法重置索引。

- **示例：**
```python
grouped = data.groupby(['YEAR', 'MONTH']).agg({'PRCP': 'sum', 'TEMP': 'mean'}).reset_index()
```

6. **`grouped.to_excel(output_path, index=False)`：**

- **含义：** 将 DataFrame 写入 Excel 文件。

- **用法：** 使用 DataFrame 的 `to_excel()` 方法将数据写入到指定的 Excel 文件中，可以选择是否包含行索引。

- **示例：**
```python
output_path = r'D:\R\summer\data_processed.xlsx'
grouped.to_excel(output_path, index=False)
```

这些就是这段代码中每个函数的含义、用法以及相应的示例。这段代码的功能是将指定文件夹中的所有 Excel 文件读取后，按年份和月份进行分组，并对降水量进行求和、对气温进行求平均，最后将处理后的数据保存到新的 Excel 文件中。

7. **`os.path.splitext(os.path.basename(file_path))[0]`：**

- **含义：** 分割文件名，返回文件名的主文件名部分（不包括扩展名）。

- **用法：** 使用 `os.path.splitext()` 函数分割文件名，然后通过索引获取主文件名部分。

- **示例：**
```python
import os

file_path = r'D:\R\summer\data.xlsx'
file_name = os.path.basename(file_path) # 返回 'data.xlsx'
main_name = os.path.splitext(file_name)[0] # 返回 'data'
```

8. **`shutil.move(source_file, target_folder)`：**

- **含义：** 移动文件或目录到目标位置。

- **用法：** 使用 `shutil.move()` 函数将源文件移动到目标文件夹中。

- **示例：**
```python
import shutil

source_file = r'D:\R\summer\data.xlsx'
target_folder = r'D:\R\summer\processed'
shutil.move(source_file, target_folder)
```

这些函数共同完成了对指定文件夹中的所有 Excel 文件进行处理的任务，包括读取、处理、重命名和保存。通过这些函数的组合使用，可以高效地处理大量的数据文件，并实现自动化的数据处理流程。

抱歉，前面给出的解释中遗漏了一些函数的解释。让我继续补充：

9. **`for file_path in file_paths:`**：

- **含义：** 遍历文件路径列表中的每一个文件路径。

- **用法：** 使用 `for` 循环遍历列表中的元素。

- **示例：**
```python
file_paths = ['D:\R\summer\data1.xlsx', 'D:\R\summer\data2.xlsx', 'D:\R\summer\data3.xlsx']
for file_path in file_paths:
print(file_path)
```

10. **`print(f"Processed file saved to: {output_path}")`**：

- **含义：** 打印已处理文件的保存路径。

- **用法：** 使用 `print()` 函数将信息打印到控制台，并使用 f-string 将变量值插入到字符串中。

- **示例：**
```python
output_path = r'D:\R\summer\data_processed.xlsx'
print(f"Processed file saved to: {output_path}")
```

这些是前面代码中的剩余函数的含义、用法及示例。通过对这些函数的了解，可以更全面地理解代码的执行过程和功能实现。

当然，请继续：

11. **`grouped = data.groupby(['YEAR', 'MONTH']).agg({'PRCP': 'sum', 'TEMP': 'mean'}).reset_index()`**：

12. **`grouped.to_excel(output_path, index=False)`**：

以上是代码中剩余部分的函数解释、用法和示例。这些函数一起完成了对指定文件夹中的所有 Excel 文件进行处理的任务，包括读取、处理、重命名和保存。通过了解这些函数的使用方法，可以更好地理解代码的功能和执行流程。