python爬取携程网游记_网页爬虫 - 用python selenium抓取携程信息

问 题

最近在学习selenium，遇到一个很奇怪的问题，debug了半天还是没弄明白，我是在测试抓取携程网站的机票信息

我的代码：

# -*- coding: utf-8 -*-

from selenium import webdriver

import time

from lxml import etree

#在订票页面http://flights.ctrip.com/

driver = webdriver.Chrome()

driver.get('http://flights.ctrip.com/')

time.sleep(1)

element_time = driver.find_element_by_id('DepartDate1TextBox')

element_time.send_keys(u'2016-07-22')

element_arr = driver.find_element_by_id('ArriveCity1TextBox')

element_arr.send_keys(u'北京')

element_depart = driver.find_element_by_id('DepartCity1TextBox')

element_depart.send_keys(u'南京')

driver.find_element_by_id('search_btn').click()

#点击click事件后，页面其实是跳转到http://flights.ctrip.com/domestic/Search/FirstRoute/?DCity1=NKG&ACity1=BJS&DDate1=2016-07-22

time.sleep(1)

print driver.current_url

#点击重新搜索

driver.find_element_by_id('btnReSearch').click()

print driver.current_url

for i in range(3):

js = 'window.scrollTo(0,100000)'

time.sleep(1)

driver.execute_script(js)

time.sleep(1)

html_text = driver.page_source

selector = etree.HTML(html_text)

outer_div = selector.xpath('//div[@class="search_box search_box_tag "]')

driver.quit()

print outer_div

然后就是我对这小块代码的调试时

发现得到的结果

是一致的，但是，但是，当我再次debug时，或者运行时

发现取不到数据，经过很多次测试，发现一半时候取到，一半时候取不到，后面我去掉driver.quit()调试发现

同样的url，但是div出现2个不一样的，导致抓取不到，所以我很奇怪为什么会出现这种问题

解决方案

使用selector.xpath('//div[contains(@class,"search_box search_box_tag")]')试试？

扫一扫关注IT屋

微信公众号搜索 “ IT屋 ” ，选择关注与百万开发者在一起