笔者从事环保行业,因为最近的项目需要从真气网拿监测站点的数据,所以开发了下面的爬虫抓取数据。
下图每一个红色的框就是每一个站点的AQI值,单机鼠标,显示如图亦庄开发区的AQI值及污染因子6参数、首要污染物、空气等级、站点类型等信息,我们本次只拿AQI值及污染因子6参数。
打开F12看一下,红色的框Data是一串字母,怀疑是被网站加密了,得找加密的算法了。
下图就是我在Sources中找到网页动态加载的方法,getParam方法就是生成上面加密的方法,后面就容易找到加密的js文件。加密的Data请求网页返回的数据也是加密的,然后也是用到同一个js文件解密,就可以等到数据了。