python爬取空气质量指标_关于爬取高德地图中空气质量数据的一些问题，请求帮助？...

最新推荐文章于 2021-02-21 06:52:56 发布
最新推荐文章于 2021-02-21 06:52:56 发布
阅读量175 收藏
点赞数
文章标签： python爬取空气质量指标
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39664560/article/details/111426209
版权
本文介绍了在使用Python爬取高德地图空气质量数据时遇到的解析问题，通过正则表达式去除干扰字符并成功进行JSON解析。解析后的数据包括空气质量指数及相关指标，展示了如何处理爬取到的非标准JSON格式字符串。
摘要由CSDN通过智能技术生成

报错的原因

html = response.read()

print html

# [Output]:

# jQuery214041126974549961415_1554559702413({"status":"1","info":"OK","infocode":"10000","datas":[{"id":"70037","name":"矿院","aqi":"144","pm2.5":"102","so2":"12","no2":"18","o3":"204","co":"900","pm10":"239"}]})

print type(html)

这里的html变量的类型是str，且不能被json解析。主要原因是'jQuery214041126974549961415_1554559702413('这部分不能用json解析。

解决办法

利用re模块根据'('或')'分割上述html字符串获得一个list，提取其中第1个元素(从0开始计数)即为所需的json可解析部分。注意在程序开头import re

import re # 添加到程序开始处！

# 下面两行code可以合并

html = re.split('[()]', html)

html = html[1]

print html

# [Output]:

最低0.47元/天 解锁文章
weixin_39664560
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于高德地图获取当地空气质量与天气
08-12
基于高德地图获取当地空气质量与天气
调用高德API不间断监测天气数据（C#）
欧阳罢笔的博客
02-02 1596
天气查询是一个简单的HTTP接口，根据用户输入的adcode，查询目标区域当前/未来的天气情况 为了完成某项任务，我们需要不间断获取每小时的天气。这里我们使用C#，调用高德的API简单做一个实时获取天气信息的小程序，高德的天气API是每小时更新一次数据的，全国大部分地方都有数据 首先需要在高德开放平台去注册，申请一个key，我们将它保存在一个字符串中 string key = 你的key;...
python小象学院: JSON文件 /网络爬虫/Pandas-----空气质量描述
qq_26572229的博客
05-02 932
博客推荐: http://www.pianshen.com/article/7251318624/#70_AQI_312 功能1.0 AQI计算 """" auther:Susan function:AQI Calculation version:v1.0 data:2019/4/27 """ def cal_linear(i...
python爬虫工程师工作指标_python爬虫工程师（20-40万）
weixin_34768019的博客
02-21 304
python爬虫工程师薪资范围：20.0 ~ 40.0 万​岗位描述- 负责指定的网站进行页面抓取、数据清理提取；- 参与已有爬虫系统中作业的检验，设计和优化爬虫策略，充分利用已有服务器和宽带资源进行优化；- 针对APP数据进行抓包分析，爬取APP数据并整合存储；- 对大规模数据进行处理和简单分析(Hadoop集群)；- 能积极反馈和沟通工作进度和面临的工作问题。岗位要求- 本科及以上学历，计算机...
python爬虫爬取数据并以json格式输出成文件
跟着互联网
03-20 6333
import time import json from selenium import webdriver from selenium.webdriver.support.wait import WebDriverWait class Test: url = 'http://www.test.com/hello' options = webdriver.ChromeOpt...
python爬取高德地图.zip
07-05
Python爬取高德地图是一个常见的爬虫练习项目，旨在通过编程技术获取实时的天气信息，特别是在Python中，这种任务可以通过requests库来实现网络请求，再用json库解析返回的JSON数据。下面将详细讲解这个项目的相关...
python爬取poi城市版_python爬虫_poi爬取软件_POI_地图爬虫_python
09-11
Python爬虫技术在数据获取和信息挖掘领域中扮演着重要角色，特别是在处理地图信息时，如POI（Point of Interest，兴趣点）的抓取。本篇将详细讲解如何使用Python进行百度地图的POI爬取，以及相关的核心知识点。 ...
python requests爬取高德地图数据的实例
09-19
本文主要介绍如何使用Python语言中的requests库来爬取高德地图的数据，并将爬取的数据存储到Excel表格中。在讲解之前，我们首先了解一些基础知识。 首先，Python是一种广泛用于网络编程的高级编程语言。由于其简洁...
基于python的高德地图实时路况信息爬取分析.zip
10-16
在本项目"基于python的高德地图实时路况信息爬取分析"中，我们将探讨如何利用Python编程语言来抓取并分析高德地图的实时路况信息。这个过程涉及到网络爬虫技术、数据分析以及可视化等多个IT领域的知识。以下是相关...
爬取全国空气质量监测网代码.py
05-28
爬取空气质量检测网的部分城市的历年每天质量数据 思路----------------------------------------- 从某城市的空气质量网页获取某市每月的链接，再爬取每个月的表格数据。连云港市：https://www.aqistudy.cn/historydata/daydata.php?city=连云港 连云港2014年5月的空气质量：https://www.aqistudy.cn/historydata/daydata.php?city=连云港&month=2014-05 遇到的问题----------------------------------------- 获取的网页中的表格数据隐藏，尝试requests无法获取。判断可能是动态加载的网页 尝试----------------------------------------- 1. 通过XHR，js查找隐藏数据的加载网页，没有找到。 2. 使用phantomjs.get() result=pd.read_html ,可以获得隐藏的表格数据，但是并不稳定，只是偶尔出现加载的表格数据,无法大规模的获取 解决方法----------------------------------------- 查找资料得知这个网站的表格数据在Console里的items中， 使用selenium的webdriver.firefox(),driver.execute_script("return items") 数据可获得。 仍遇到的问题：----------------------------------------- 爬取一个网页可获得数据，但是连续的获取网页，会出现两个错误。 1.Message: ReferenceError: items is not defined 2.connection refused 解决方法： 1.connection refused问题,可能是网页开太多，使用driver.quit() 2. 如果 execute_script 还是出错，可尝试pd.read_html获取信息。之前用phantomjs获取的时候输出空的表格，可能由于加载不够，用 Waite直到table出现之后再获取网页 Element=wait.until(EC.element_to_be_clickable((By.XPATH,"/html/body/div[3]/div[1]/div[1]/table/tbody"))) 3.之后出现偶尔出现输出为空，使用循环，如果输出表格为空，再重新获取。 if len(result)>1: filename = str(month) + '.xls' result.to_excel('E:\python\案例程序\data\\' + filename) print('成功存入'+filename) driver.quit() else: driver.quit() return getdata(monthhref,month)
python3获取网页天气预报信息并打印
人生苦短， 还不用Python？
05-06 1344
查到一个可以提供区域天气预报的url，说明文档在https://www.sojson.com/blog/234.html， https://www.sojson.com/open/api/weather/json.shtml?city=%E6%88%90%E9%83%BD 打算用python从上面获取预报信息，打印下来 代码如下： ''' 想要学习Python？Python学习交流群：...
爬取全国空气质量数据
热门推荐
一半芒果的博客
10-05 1万+
思路： 1、空气质量在线监测平台 https://www.aqistudy.cn/； 2、分析网站，找到历史数据查询入口：https://www.aqistudy.cn/historydata/，首页为各城市入口，二层统计各月份数据，三层为每日数据； 3、使用crawspider获取每月url； 4、xpath解析数据，保存至csv和redis数据库中。 出现的问题： 除首页外，网页使用了动态JS...
高德地图API获取天气
weixin_33892359的博客
08-17 1913
1.建立行政区规划清单表 use edw; drop table if exists dim_prov_city_adcode; create table if not exists dim_prov_city_adcode ( prov_nm varchar(64), city_nm varchar(64), county_nm varch...
Python爬取全国空气质量信息，空气质量最好的居然是它！
爬遍所有网站
05-19 2685
主要模块 requests模块。使用requests模块来获取http响应 gevent模块。使用gevent开启多个协程，加快爬取速度 re模块或beautifulsoup模块。正则表达式解析与beautifulsoup解析两种解析方式我都会写出来。 csv模块。用于将数据导出至csv文件内 分析过程 1.要爬取的页面的URL地址为：http://www.tianqihoubao.com/aqi/。首先访问该页面（如下图）获取所有城市a标签的href属性，知道了各个城市的api，就可以接着爬..
基于高德开放平台查询天气的信息组件
hedeqiang
10-05 450
基于高德开放平台的 PHP 天气信息组件。 安装 $ composer require hedeqiang/weather -vvv 配置 在使用本扩展之前，你需要去 高德开放平台 注册账号，然后创建应用，获取应用的 API Key。 使用 use Hedeqiang\Weather\Weather...
高德地图爬取所有城市天气数据
weixin_44367450的博客
04-18 937
import requests import json class GaoDeMap: def __init__(self): self.run() def run(self): base_url = "https://www.amap.com/service/cityList?version=201941111" respon...
Python小程序(8)--空气质量指数计算+爬虫获取空气质量指数+数据分析
学习随笔
05-28 8641
版本1.0 ''' 功能：AQI计算 版本：1.0 ''' def cal_linear(iaqi_lo,iaqi_hi,bp_lo,bp_hi,cp): ''' 范围缩放 ''' iaqi = (iaqi_hi-iaqi_hi)*(cp-bp_lo)/(bp_hi-bp_lo) + iaqi_lo return iaqi def ca...
python高德地图数据爬取
最新发布
11-24
以下是使用Python爬取高德地图数据的示例代码： ```python import requests # 构造请求URL url = 'https://restapi.amap.com/v3/weather/weatherInfo' params = { 'key': 'your_key', # 替换为你的高德地图开发者Key 'city': '北京市', # 替换为你要查询的城市 'extensions': 'base', # 只获取基本天气信息 'output': 'json' # 输出格式为JSON } # 发送请求并获取响应 response = requests.get(url, params=params) data = response.json() # 解析响应数据 if data['status'] == '1': weather = data['lives'][0]['weather'] # 天气 temperature = data['lives'][0]['temperature'] # 温度 wind_direction = data['lives'][0]['winddirection'] # 风向 wind_power = data['lives'][0]['windpower'] # 风力 print('天气：', weather) print('温度：', temperature, '℃') print('风向：', wind_direction) print('风力：', wind_power) else: print('查询失败') ``` 该示例代码使用requests库向高德地图API发送请求，并解析响应数据，获取指定城市的天气信息。你需要将代码中的`your_key`替换为你的高德地图开发者Key，并将`city`参数替换为你要查询的城市。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值