HTML解析没有详情页url,爬虫找不到详情页URL的参数

第一种情况

这是网址

我要做的是获取全部数据包括列表页和详情页

这个网站看上去是很容易获取，都是很标准的格式，只是详情页跳转了一次url，翻页虽然没用参数但是有data，一切看上去都很容易。

翻页方案一

driver = webdriver.Firefox()

driver.get(response.url)

soup = BeautifulSoup(driver.page_source, 'lxml')

for i in range(300):

table=soup.find('table',class_='Winstar-table').find_all('tr')

#解析迭代

driver.find_element_by_link_text('[下一页]').click()

time.sleep(2)

soup = BeautifulSoup(driver.page_source, 'lxml')

driver.close()

翻页方案二

VIEWSTATE = response.xpath("//input[@id='__VIEWSTATE']/@value").extract_first()

EVENTVALIDATION = response.xpath("//input[@id='__EVENTVALIDATION']/@value").extract_first()

for i in range(392):

data = {

'__EVENTTARGET': '_ctl9$lbtnNextPage',

'__EVENTARGUMENT': '',

'__LASTFOCUS': '',

'__VIEWSTATE': VIEWSTATE,

'__EVENTVALIDATION': EVENTVALIDATION,

'_ctl9:dprlEnterpriseType': '01',

'_ctl9:dprlEnterpriseClassify': '',

'_ctl9:txtEnterpriseName': '',

'_ctl9:txtGotoPage': ''

}

#迭代