python爬取交通网站json数据

刚学python的新手一个,小问题比较多,大家凑活看看我们爬取的网站是 https://jiaotong.baidu.com/trafficindex/city/list直接贴上我的代码:import requestsimport csvimport json#获取网页的信息url = 'https://jiaotong.baidu.com/trafficindex/city/li...
摘要由CSDN通过智能技术生成

刚学python的新手一个,小问题比较多,大家凑活看看
我们爬取的网站是 https://jiaotong.baidu.com/trafficindex/city/list
直接贴上我的代码:

import requests
import csv
import json

#获取网页的信息
url = 'https://jiaotong.baidu.com/trafficindex/city/list'
html = requests.get(url).text

#获取网页中需要的信息,这里我查了好多资料才知道如何爬取这种形式的json...
data = json.loads(html)
datas = data['data']['list']

#创建csv文件,查了好多资料不知道如何转CSV时没有乱码,按照网上说的先转为txt,我就已经是乱码了,试了好多方法都不行...
csvFile = open('E:/files/jiaotong.csv','w+',newline='',encoding='gbk')
writer = csv.writer(csvFile)
fieldnames = ['time','citycode','cityname','index','last_index','index_level','speed','city_coords','provincecode','provincename','weekRate']
writer = 
  • 1
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
为了使用Python爬取地铁站JSON数据,你可以按照以下步骤进行操作: 1. 首先,导入所需的包和模块,如requests和json。 2. 构建请求头,可以使用示例中提供的请求头: ```python HEADER = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36" } ``` 3. 定义数据URL,这是一个包含地铁站数据的URL。 ```python DATA_URL = 'http://map.amap.com/service/subway?srhdata=' ``` 4. 发送GET请求并获取响应数据,可以使用requests库中的get()方法。 ```python response = requests.get(DATA_URL, headers=HEADER) ``` 5. 将响应数据解析为JSON格式,使用json库中的loads()方法。 ```python data = json.loads(response.text) ``` 6. 现在你可以使用解析后的JSON数据进行进一步的处理和分析,例如提取地铁站点信息等。 请注意,以上步骤仅提供了使用Python爬取地铁站JSON数据的基本框架,具体实现可能需要根据你的需求进行调整和添加其他功能。 提供了详细的示例代码,你可以参考其中的实现方式。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Python爬虫——城市公交、地铁站点和线路数据采集](https://blog.csdn.net/PC13138/article/details/101945457)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [零基础使用vscode实现python爬取高德地铁数据](https://blog.csdn.net/weixin_48189070/article/details/117878285)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [Python爬取地铁线路及站点数据,文末附上爬取的各地区shp数据下载链接](https://blog.csdn.net/qq_41127811/article/details/127957639)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值