详细解析如何使用Socrata API获取城市开放数据

sjufgwgfhoia

于 2024-10-07 11:14:22 发布

阅读量289

点赞数 9

文章标签： python 机器学习 linux

本文链接：https://blog.csdn.net/sjufgwgfhoia/article/details/142737367

版权

引言

在数据驱动的时代，开放数据成为城市管理和创新的关键工具。Socrata提供了一个强大的API，允许开发者访问来自世界各地城市的开放数据集。本篇文章将介绍如何利用Socrata API访问旧金山等城市的犯罪数据，并提供具体的操作示例和注意事项。

主要内容

使用Socrata API访问开放数据

Socrata使得访问城市数据集变得简单直观。在我们开始具体操作之前，需要获取数据集的标识符（dataset identifier），该标识符可以通过Socrata网站的API选项卡找到。以下是一些常用的旧金山数据集标识符：

311数据: vw6y-z8j6
犯罪数据: tmnf-yvry

安装必要的库

首先，确保安装并升级sodapy库，这是与Socrata API进行通信的关键。

%pip install --upgrade --quiet sodapy

使用OpenCityDataLoader加载数据

OpenCityDataLoader是一个方便的工具，可以通过提供城市ID和数据集ID来加载城市数据。下面是一个示例代码：

from langchain_community.document_loaders import OpenCityDataLoader

# 使用API代理服务提高访问稳定性
city_id = "data.sfgov.org"
dataset_id = "tmnf-yvry"  # 犯罪数据

# 初始化数据加载器
loader = OpenCityDataLoader(city_id=city_id, dataset_id=dataset_id, limit=2000)

# 加载数据
docs = loader.load()

# 打印第一条记录
print(docs[0].page_content)

关于访问限制的警告

没有应用令牌（app_token）的请求会受到严格的限制。因此，建议开发人员注册并使用应用令牌以增加访问的稳定性和速率限制。

代码示例

以下代码示例展示如何抓取旧金山市的犯罪数据，并打印其中的一些信息：

from langchain_community.document_loaders import OpenCityDataLoader

# 使用API代理服务提高访问稳定性
city_id = "data.sfgov.org"
dataset_id = "tmnf-yvry"  # 犯罪数据

# 初始化数据加载器
loader = OpenCityDataLoader(city_id=city_id, dataset_id=dataset_id, limit=2000)

# 加载数据
docs = loader.load()

# 显示数据中包含的字段
first_record = docs[0].page_content
print(f"Incident Number: {first_record['incidntnum']}")
print(f"Category: {first_record['category']}")
print(f"Description: {first_record['descript']}")
print(f"Date: {first_record['date']}")