python爬虫学习（五）药监局化妆品生产许可

最新推荐文章于 2022-08-08 10:00:34 发布

haimian_baba

最新推荐文章于 2022-08-08 10:00:34 发布

阅读量1.1k

点赞数

文章标签： python

本文链接：https://blog.csdn.net/haimian_baba/article/details/103713089

版权

这里面有几个坑，网页url是http://125.35.6.84:81/xk/
模拟访问之后只有首页标题，没有数据
然后发现是用了ajax，重新找到url
第二个坑是这个url的数据也不是最终数据只是个统计数据
通过这个url拿到下个url的id再去访问最终的数据

# -*- coding: utf-8 -*-
import requests
import json
if __name__ == '__main__':
    #批量获取企业id
    url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36'
    }
    id_list = []  # 存储企业id
    all_data_list = []  # 存储所有的企业详情数据

    for page in range(1,6):
        page = str(page)
        data={
            'on': 'true',
            'page': page,                #页数
            'pageSize': '15',
            'productName':'',
            'conditionType': '1',
            'applyname':