1、需要点击之后才能看到的内容
可以使用 selenium 模拟点击后再抓取内容,但这里有一个点需要注意的地方是,我们所要查找的内容是在 selenium 模拟点击之后的网页中,故需要写成如下格式:
from selenium import webdriver
import time
driver = webdriver.Chrome()
driver.maximize_window()
sreach_handle = driver.current_window_handle
driver.get(response.url)
time.sleep(5)
driver.find_element_by_xpath('//a[@value="FUNDRAISING"]').click() # 点击投标中
se = Selector(text=driver.page_source) # 此处是关键,否则下面将无法抓取到内容
items =[]
product_item = se.xpath('//div[@class="x_investDebt_conLi"]')