大家好
作为初来乍到的新人,首先先向社区里面的大佬或者专业人员问好!
最近在b站上看到一段视频,是关于python爬虫的。
但是我在运行的时候,出现了一些问题。
在第十七行如果我用的是(1,6)则可以正常运行,但是如果我改为(1,380)想要获取全部页面的数据的时候就会出现问题。
百度了一下,有的说是双引号的问题,有的说是json问题,有的说是url问题。我都尝试着改了一下,但是都没有起到效果。可能是我改的不对,还请多多指教。
import requests
import json
all_data_list=[]#存储所有的企业详情数据
id_list=[]#存储id账号
#1.批量获取企业的id值
#2.UA伪装
headers={'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0.1 Safari/605.1.15'}
url='http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'
for page in range(1,380):
page=str(page)
#3.参数的封装,这里是post请求,用的是data
data={'on': 'true',
'page': page,
'pageSize': '15',
'productName':