【Python网络爬虫】企查查批量查询接口爬虫

写在前面：

1. 本文所介绍的企查查爬虫代码需要用到cookie，且cookie所对应的账号需要为vip或以上等级具有高级搜索和批量查询的功能，无此功能的账号暂不支持；
2. 本文所介绍的是在其他人分析了前端headers哈希加密后的基础上的进一步补充和完善，并会提供完整的请求代码；
3. 本文所提供的逻辑和代码仅供学习交流，严禁用于商业或非法用途，否则由此产生的一切后果均与作者无关。

---

企查查批量查询入口：

一. headers前端逆向加密

在https://gxzv.com/blog/qcc_headers_hash/?f=readme该篇文章中，博主已详细介绍和解释了企查查高级查询中的headers哈希加密的逻辑，并给出了核心破解代码，另外，在本人上一篇文章https://blog.csdn.net/moyuweiqing/article/details/128702742中，给出了参数win_pid的生成方法，并给出了pid和tid的获取方法，在本部分，将会给出关于该哈希加密的进一步解释。

该章节以下部分的理解需要读者预先阅读上诉两篇文章，对于企查查headers哈希解密的了解。

在http请求中，主要包含两种方式，一种是get请求另一种是post请求，在post请求中，请求headers中的哈希加密参数的生成a_default()函数和r_default()函数中生成，函数中的其中一个参数名为data，此时，data为post请求中的数据，为字典类型；
但在get请求中，由于和post请求不一样，数据中并没有data部分的内容，因此，在get请求中，headers中哈希加密参数的生成不需要传递参数data，或者data的值为默认值，即为空字典。

简单来说，就是以下的区别：

post请求和get请求的a_default()函数和r_default()：

def a_default(url: str = '/', data: object = {}):
    url = url.lower()
    dataJson = json.dumps(data, ensure_ascii=False, separators=(',', ':')).lower()

    hash = hmac.new(
        bytes(seeds_generator(url), encoding='utf-8'),
        bytes(url + dataJson, encoding='utf-8'),
        hashlib.sha512
    ).hexdigest()
    return hash.lower()[8:28]

def r_default(url: str = '/', data: object = {}, tid: str = ''):
    url = url.lower()
    dataJson = json.dumps(data, ensure_ascii=False, separators=(',', ':')).lower()

    payload = url + 'pathString' + dataJson + tid
    key = seeds_generator(url)

    hash = hmac.new(
        bytes(key, encoding='utf-8'),
        bytes(payload, encoding='utf-8'),
        hashlib.sha512
    ).hexdigest()
    return hash.lower()

post请求中对于a_default()函数和r_default()的调用：

	key = a_default(req_url, data)
    val = r_default(req_url, data, tid)
    headers[key] = val

get请求中对于a_default()函数和r_default()的调用：

	key = a_default(req_url)
    val = r_default(req_url, tid=tid)
    headers[key] = val

对于其他的参数，像是req_url和pid、tid的生成，在引用的文章中有提及，本文不再复述。

---

二. 异步请求过程

企查查在批量请求中并不是单个post请求即可以获取到所有数据的，通过开发人员工具可以看出，这是一组组合请求，通过其请求名可以看出，应该是将需要查询的数据以批次的方式请求到Redis里面，再通过post请求获取到简易数据和明细数据（具体的请求机制我也不是很清楚，纯猜测）。

需要区分各个请求之间的差异，涉及到headers哈希加密调用函数的方式不同，也涉及到调用函数时传递的url不一样。

另外，在请求的过程中，由于需要vip账号的cookie，里面会对单个账号有不定时验证要求和访问次数限制，本人测试中，总明细查询达到约1000-2000次即达到单个账号的单日访问上限。

---

三. 文章引用和代码

引用文章：

https://gxzv.com/blog/qcc_headers_hash/?f=readme

https://blog.csdn.net/moyuweiqing/article/details/128702742

代码链接：

https://github.com/moyuweiqing/qcc_searchmulti