第一种情况
这是网址
我要做的是获取全部数据包括列表页和详情页
这个网站看上去是很容易获取,都是很标准的格式,只是详情页跳转了一次url,翻页虽然没用参数但是有data,一切看上去都很容易。
翻页方案一
driver = webdriver.Firefox()
driver.get(response.url)
soup = BeautifulSoup(driver.page_source, 'lxml')
for i in range(300):
table=soup.find('table',class_='Winstar-table').find_all('tr')
#解析迭代
driver.find_element_by_link_text('[下一页]').click()
time.sleep(2)
soup = BeautifulSoup(driver.page_source, 'lxml')
driver.close()
翻页方案二
VIEWSTATE = response.xpath("//input[@id='__VIEWSTATE']/@value").extract_first()
EVENTVALIDATION = response.xpath("//input[@id='__EVENTVALIDATION']/@value").extract_first()
for i in range(392):
data = {
'__EVENTTARGET': '_ctl9$lbtnNextPage',
'__EVENTARGUMENT': '',
'__LASTFOCUS': '',
'__VIEWSTATE': VIEWSTATE,
'__EVENTVALIDATION': EVENTVALIDATION,
'_ctl9:dprlEnterpriseType': '01',
'_ctl9:dprlEnterpriseClassify': '',
'_ctl9:txtEnterpriseName': '',
'_ctl9:txtGotoPage': ''
}
#迭代