用Python监控并分析城市空气质量

一文带你了解所在城市的空气污染有多严重?

微信搜索关注《Python学研大本营》,加入读者群,分享更多精彩

同为发展中国家,印度也受到空气质量问题的困扰,本文就以印度的城市为例进行数据分析。利用简单的Python代码,分析城市空气质量及其每天在全国范围内(即印度水平)的排名。

在开始之前,先介绍一下整个分析过程中使用的一些基本原理。印度政府中央污染控制委员会(CPCB)是该国环境空气质量监测的监管机构,每天为那些设有连续环境空气质量监测站的印度城市发布空气质量相关信息公告。该公告包含有特定城市的空气质量指数(AQI)、空气质量类别、标准污染物以及该城市运行的监测站数量相关的信息。本文正是通过分析这个空气质量指数(AQI)来对城市进行排名。

如下所示是对于公告中一些术语的解释:

  • a)空气质量指数(AQI):空气质量指数是一个表示空气质量状况的无量纲数字。

  • b)空气质量类别或等级:根据空气质量指数,空气质量情况被分为6个类别,即“优秀”、“良好”、“中等”、“差”、“非常差”和“严重”。随着空气质量的下降,该类别从“优秀”到“严重”,表明有可能对健康产生不利影响。

  • c)标准污染物:尺寸为2.5和10微米的颗粒物、二氧化氮(NO2)、二氧化硫(SO2)、一氧化碳(CO)、臭氧(O3)、氨(NH3)和铅(Pb)是空气质量指数计算中涉及的具有潜在不利健康影响的主要标准污染物。在计算单个污染物的空气质量指数值时,应将空气质量指数最高的污染物宣布为该市的空气质量指数,并将相应的污染物宣布为标准污染物。

  • d)监测站:表示该城市在特定日期内运行的空气质量监测站的总数。这些监测站监测的污染物浓度(即标准污染物)用于评估任何城市的空气质量指数。

进行此分析有何好处?

官员们从AQI公告中实际汇编了感兴趣的城市信息。随着所关注的城市的增加,这项工作变得更加困难,必须在下午6点前报告上级,而公告在每天4点后才发布,这可能会导致无意的人为错误。由于这些原因开发了这套Python代码。这种分析的好处包括减少人工分析的人力,可靠的结果减少了人为的错误,提高了公众的知识水平,提高了政策制定者做出明智选择的能力,包括监测当地空气质量管理的结果等。

现在开始编码:

  • 第1步:导入库

导入库numpyrequestspandassystabularequests库是为了从出版商的页面上采集AQI公告。然后tabula库将PDF格式的公告读到数据框中。pandasnumpy用作数据分析和科学计算。

## 导入库
import pandas as pd
import requests
from tabula import read_pdf
import numpy as np
import sys
  • 第2步:用户定义的输入

a)感兴趣的日期(YYYYMMDD格式);

b)下载PDF格式的AQI公告文件的路径;

c)特定城市/感兴趣的城市名单(可选)。

最终分析提供了每日AQI公告中提到的所有城市的排名。然而,在提取特定城市/感兴趣的城市的排名的情况下,可以在c)中提供这些城市的名单。确保与c)中提供的城市相关的信息必须出现于AQI公报中。

## 用户输入
date = input('a) Enter the date of interest (on or after 29th January 2018) in the format YYYYMMDD: ') ##20180129 onwards
pathway = input('b) Define the Pathway address to download the bulletin: ') ##example C:/Users/USER/Downloads
list_of_cities = input('c) Enter the list of cities separated by commas and no space: ') ##Example Mumbai,Bangalore,Kolkata. Disclaimer: Make sure the cities mentioned are present in the Bulletin list

警告:请确保调用的意向日期是在2018年1月29日或之后。

## 日期调用检查
if date<'20180129':
  sys.exit('Call the dates on or after 29th January 2018 and re-run the codes')

检查完成后继续进行后续步骤。

  • 第3步:下载AQI公告

使用request库下载AQI公告。使用tabula库以数据帧格式读取下载的pdf文件。如果在用户定义的日期内无法获得AQI公报,运行将被终止。

## 下载公告
k = requests.get('https://cpcb.nic.in//upload/Downloads/AQI_Bulletin_'+str(date)+'.pdf')

if k.status_code==404:
    sys.exit('No Bulletin exists for the mentioned date. Please try different date')
 
with open(pathway+'/AQI_Bulletin_'+str(date)+'.pdf','wb') as f:
    f.write(k.content)
    
## 以数据帧格式读取pdf
pathway = pathway+'/AQI_Bulletin_'+str(date)+'.pdf'
file = read_pdf(pathway,pages='all')
  • 第4步:基本数据清理

在这里,删除重复的和不适用的数据,重新设置列名,并按AQI的降序对数据框进行排序。包含AQI值的数据框列被命名为“索引”。

## 删除重复的内容
new_file = pd.DataFrame()
for i in range (0, len(file)):
    if i%2==0:
        extract_file = file[i]
        new_file = pd.concat([new_file,extract_file], axis=0)

## 提取列名
k= new_file.loc[0, ]
k.reset_index(inplace=True)
column_names = k.loc[1, ]
column_names = column_names[1: ]

## 重置列
new_file.columns = column_names

##从`new_file`中删除`NA`
new_file.dropna(inplace=True)

## 按AQI的降序对数据帧进行排序
final_file = new_file.loc[(new_file['City']!='City'), ]
final_file['Index Value']= final_file['Index Value'].astype(int)
final_file.sort_values(by='Index Value',ascending=False, inplace=True)
final_file.reset_index(inplace=True)
final_file.drop(columns=['S.No', 'index'], inplace=True)
  • 第5步:根据空气质量指数对城市进行排名

当天拥有最高AQI值的城市获得最高排名。输出final_file包括根据AQI值在AQI公告中指定的城市的排名。2个或更多具有相同AQI值的城市被提供相同的排名。

## 基于AQI的城市排名
final_file['ranking'] = np.arange(1, len(final_file)+1)

for i in range(0,len(final_file)-1):
    if final_file.loc[i,'Index Value']== final_file.loc[(i+1), 'Index Value']:
        final_file.loc[(i+1), 'ranking']= final_file.loc[i, 'ranking']
        for k in range(i+2,len(final_file)):
            final_file.loc[k, 'ranking'] = final_file.loc[k, 'ranking']-1
  • 第6步:对用户定义的城市进行排名并生成单独的数据帧

生成的输出文件名为city_ranking,包含了用户定义的特定城市的所有必要信息。

## 用户定义的城市排名
if len(city_list)> 0:
  city_list = list_of_cities.split(',')
  city_ranking = final_file.loc[final_file['City'].isin(city_list), ]

数据分析

首先运行代码。现在输入每个用户定义的预设条件:

  • a) 输入分析的日期,格式为YYYMMDD:20230401

  • b) 定义下载公告的Pathway地址:由用户决定,这里使用C:/Users/USER/Downloads

  • c) 输入由逗号和无空格分隔的城市列表:Mumbai、Delhi、Bangalore、Hyderabad、Ahmedabad、Chennai、Kolkata、Surat、Vadodara、Pune

输出如下图所示:

输出(city_ranking)显示了用户定义的城市的空气质量状况、指数、主要污染物、监测空气污染的监测站数量和排名。注:在用户定义的分析日期,AQI公报中没有与Bangalore和Vadodara有关的信息,因此没有显示在数据框中。

使用这套代码,可以了解许多有用的内容。例如,使用for循环,就可以使用来自AQI公告库的数据,并查看数据是如何随时间变化的。

推荐书单

《Python网络爬虫从入门到精通》

《Python网络爬虫从入门到精通》从初学者角度出发,通过通俗易懂的语言、丰富多彩的实例,详细介绍了使用Python实现网络爬虫开发应该掌握的技术。全书共分19章,内容包括初识网络爬虫、了解Web前端、请求模块urllib、请求模块urllib3、请求模块requests、高级网络请求模块、正则表达式、XPath解析、解析数据的BeautifulSoup、爬取动态渲染的信息、多线程与多进程爬虫、数据处理、数据存储、数据可视化、App抓包工具、识别验证码、Scrapy爬虫框架、Scrapy_Redis分布式爬虫、数据侦探。书中所有知识都结合具体实例进行介绍,涉及的程序代码给出了详细的注释,读者可轻松领会网络爬虫程序开发的精髓,快速提高开发技能。

《Python网络爬虫从入门到精通》(明日科技)【摘要 书评 试读】- 京东图书京东JD.COM图书频道为您提供《Python网络爬虫从入门到精通》在线选购,本书作者:,出版社:清华大学出版社。买图书,到京东。网购图书,享受最低优惠折扣!icon-default.png?t=N5K3https://item.jd.com/13291912.html

精彩回顾

《使用Python中的Pyamaze模块实现遗传算法》

《用好这两个方法,解决Python中的线程同步问题》

《活学活用虚拟环境,Python编程更高效》

《用好这9个技巧,让你的Python代码“飞”起来》

《领略数学之美,使用Python创建分形图案》

《使用Python进行自动化录屏》

微信搜索关注《Python学研大本营》,加入读者群

访问【IT今日热榜】,发现每日技术热点

  • 0
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值