数据下载及处理方法

我真的真的真的会喜欢读博

已于 2024-09-22 10:23:31 修改

阅读量610

点赞数 3

分类专栏：数据处理文章标签： arcgis

于 2024-09-18 01:25:21 首次发布

本文链接：https://blog.csdn.net/RS_LAB/article/details/142319845

版权

数据处理专栏收录该内容

3 篇文章 1 订阅

订阅专栏

1. 土壤数据 Harmonized World Soil Database v2.0

下载地址：https://www.fao.org/

协调世界土壤数据库 v2.0 |粮农组织土壤门户网站 |联合国粮食及农业组织 (fao.org)

某些特点：

1）七个深度层都包含理化土壤单元特性（以前的版本只提供上层土壤属性(0-30cm)和下层土壤属性(30-100cm)）
D1~D7:
0–20 cm, 20–40 cm, 40–60 cm, 60–80 cm, 80–100 cm, 100–150 cm and 150–200 cm.
2）reference soil depth 替换为 rootable soil depth （RSD）
并使用RSD、矿物学相关内容、盐度、粒度重新计算available water capacity (AWC)
3）约1km空间分辨率

4）....

（1）数据下载：下载HWSD Raster V2.0 得到HWSD2.bil等四个数据。BIL格式数据可使用ArcGIS打开。

数据库文件利用Access打开。并输出两个表格：HWSD2_LAYERS.xlsx 和 HWSD2_SMU.xlsx。这两个表格的内容参考：

全球土壤数据集HWSD2.0处理方法和变量说明（含参考文献） - 哔哩哔哩

和教程1 | 世界土壤数据库 (HWSD) version 2.0土壤数据处理。

“HWSD v2.0主要包括两个数据表（HWSD2_SMU和HWSD2_LAYERS），两个表的元信息（字段单位、描述、数据类型）分别通过（HWSD2_SMU_METADATA和HWSD2_LAYERS_METADATA）记录,部分字段的具体分类值信息记录于其它表中（与两个主表的字段相对应）。”（教程1 | 世界土壤数据库 (HWSD) version 2.0土壤数据处理）

输出两个xlx表格：

接着

代码来源于：全球土壤数据集HWSD2.0处理方法和变量说明（含参考文献） - 哔哩哔哩

和教程1 | 世界土壤数据库 (HWSD) version 2.0土壤数据处理。

但是似乎pandas 2.0 去除了append，这里贴一个只修改方法的代码。

import pandas as pd

# 读取SMU数据
smu_data = pd.read_excel("F:/HWSD2_SMU.xlsx")
# 读取LAYERS数据
layers_data = pd.read_excel("F:/HWSD2_LAYERS.xlsx")
# 初始化一个空的DataFrame来存储结果
select_data_all = pd.DataFrame()

# 遍历SMU数据
for index, row in smu_data.iterrows():
    smu_id = row['HWSD2_SMU_ID']
    fao90 = row['FAO90']
    share = row['SHARE']
    print(index, flush=True)
    
    # 根据条件筛选LAYERS数据
    lookup = layers_data[
        (layers_data['HWSD2_SMU_ID'] == smu_id) &
        (layers_data['FAO90'] == fao90) &
        (layers_data['SHARE'] == share)
    ]    
    # 追加筛选后的数据
    select_data_all = pd.concat([select_data_all, lookup], ignore_index=True)

# 写出结果
with pd.ExcelWriter('F:/HWSD2_LAYERS_alllayers.xlsx') as writer:
    select_data_all.to_excel(writer, sheet_name='All_LAYERS', index=False)
    for d in range(1, 8):
        sheet_name = f'D{d}'
        select_data = select_data_all[select_data_all['LAYER'] == sheet_name]
        select_data.to_excel(writer, sheet_name=sheet_name, index=False)

print("finished")

运行完毕得到一个表格：D1~D7对应不同深度。

将其转化为.xls格式

在GIS中找到：构建栅格属性表。

对应的字段选择为：（D1~D7为不同深度）

最后利用查找表将所需要的数据打包为栅格。

手动批量处理的方法：

具体的变量参考链接如下，一定要注意数据的单位

https://openknowledge.fao.org/server/api/core/bitstreams/149f1562-bf6a-439f-9d3a-eb93940f39cf/content

PHASE：土壤发展的阶段。1-2阶段是根据对土地使用或管理有重要意义的特征对土壤单元进行细分，但不能诊断土壤单元本身的分离。此外，例如 Stony phase（石质阶段）、Soils disturbed by man（人为扰动的土壤）人工填满泥土、垃圾或两者兼而有之的地区，最常见于城市及其周边地区。

TEXTURE_USDA：土壤质地（TEXTURE CLASS (USDA convention)）

https://openknowledge.fao.org/server/api/core/bitstreams/149f1562-bf6a-439f-9d3a-eb93940f39cf/content

TEXTURE_SOTER：SOTER土壤质地分类

土壤分类：几种分类方法

世界土壤统一数据库(HWSD v1.2, Nachtergaele等，2012)使用了不同版本的粮农组织世界土壤图图例(CEC, 1985;粮农组织等，1990年;粮农组织和教科文组织，1974年)，因为它们被应用于用于构建HWSD的区域地图和数据库中。在目前的方法中，使用了粮农组织1990年的版本，基于ISRIC进行的土壤相关性来构建WISE30sec数据库(Batjes, 2015)。在这个版本的HWSD中，土壤与最新版本的国际土壤分类系统WRB (IUSS工作组WRB, 2022)进行了相关性。这是以前在非洲进行的(Dewitte等人，2013年)，但没有覆盖温带和北方土壤，并使用了较旧版本的WRB(2006年)。