食品生产许可获证企业(SC)的爬取
只有名字和编号
这个网站是动态加载,并对请求ur进行了加密l
所以使用selenium
但是,selenium使用不知道为什么一旦进行了对页面数据的操作后,就无法请求到下一页的数据了,所以只能一页一页的请求不停的从第一页跳转,不能使用下一页跳转
from selenium import webdriver import pyautogui as pag from selenium.webdriver.common.keys import Keys from selenium.webdriver import ActionChains import time import pyautogui #创建浏览器对象 def find_coordinate(): """返回下一页坐标,最大页数""" #"""返回文本框坐标,go按钮位置,和最大页数 """ d = webdriver.Chrome()#可以看到浏览器界面 d.implicitly_wait(10)#隐性等待10秒如果10秒内该窗口完成渲染渲染完毕就不再等待,10秒还未渲染成功就不再等待 d.maximize_window()#窗口最大化 time.sleep(2) d.get('http://app1.sfda.gov.cn/datasearch/face3/base.jsp?tableId=120&tableName=TABLE120&title=%CA%B3%C6%B7%C9%FA%B2%FA%D0%ED%BF%C9%BB%F1%D6%A4%C6%F3%D2%B5(SC)&bcId=145275419693611287728573704379') time.sleep(3) text_location = d.find_element_by_xpath('//*[@id