Python项目：爬取AES加密的全国建筑市场信息(涉及accesstoken)

最后接了个关于爬取全国建筑市场信息的单子，弄完了写个总结。

首先返回的数据是加密的

通过返回数据的请求中可以看到是通过js响应来加密转换的。

这时找到对应的js文件，通过分析可以得到是AES加密，这里关于怎么分析的就不多说了。下面直接给出python解密的代码，直接用就行。(注意，不要拿浏览器里面接口返回的加密数据传参到下面这个python代码中，会得不到结果的。直接写接口请求，拿着接口返回的数据，然后传参到这个函数中，即可以得到解密后的数据)

# python AES解密
def decrypt(data):
    KEY = 'jo8j9wGw%6HbxfFn'.encode()
    IV = '0123456789ABCDEF'.encode()
    cipher = AES.new(key=KEY, mode=AES.MODE_CBC, iv=IV)
    decrypted_data = cipher.decrypt(binascii.a2b_hex(data))
    result = unpad(decrypted_data, block_size=AES.block_size).decode('utf8')
    return result

下面是重点了

有些界面会出现下面的内容，即需要验证码，使用的是极验验证码

对应的就是需要accesstoken，该接口即需要token参数

一个token大概能使用45次，即验证一次，可以使用该token请求45个对应的接口。

下面是解决验证码的一些思路：

1、通过模型来识别图片中的应该点击的坐标位置，然后再使用驱动来进行点击

2、通过算法协议来进行

下面简单说下算法协议怎么弄

1、自己弄

简单说下流程，中间牵涉到的算法需要自己去理

要获取gt、challenge、w、randomId值，其中challenge和w在中间应该是会存在变化的(有时候验证码类型不同，变化也是不同的，有些验证challenge不会变)，最后的验证跟下面的对接打码平台一样

2、对接打码平台

对接打码即需要获得初始化的gt和challenge值，(初始化得到的值还有一个randomId)这两个值是通过下面的接口来获取的，返回的数据也是加密，解密用上面的代码即可

https://jzsc.mohurd.gov.cn/APi/webApi/geetest/startCaptcha

然后将这两个值传给打码平台，平台验证成功后，会给你返回一个新的challenge、validate、seccode。

然后拿着打码平台返回的challenge、validate、seccode和初始化得到的randomId这几个值，给下面的url发送get请求(自己将对应的参数替换上去就行了)

url3 = 'https://jzsc.mohurd.gov.cn/APi/webApi/geetest/verifyLoginCode?geetest_challenge=' + challenge + '&geetest_validate=' + validate + '&geetest_seccode=' + seccode + '&randomId=' + randomId

然后会得到一个新的accesstoken值。

需要帮忙或需要爬虫的可联系下面的名片