构建两个函数,Func A 用来抓取详情页的数据,例如标题,副标题,图片等,Func B 用来抓取列表页的链接,依次访问Func B函数所抓取的链接即可。
from bs4 import BeautifulSoup import requests import time def get_info(page): urls=get_links_from(page) #调用获取链接函数,并利用循环依次访问 for url in urls: web_data=requests.get(url) soup=BeautifulSoup(web_data.text,'lxml')