动态网页抓取实践

使用Firefox浏览器爬取
爱彼迎的网站上的苏州民宿页面的第一页信息
代码：

from selenium import webdriver
import time
start = time.perf_counter()
driver = webdriver.Firefox(executable_path = r'C:\Users\Shinelon\Desktop\geckodriver.exe')
driver.implicitly_wait(20)
driver.maximize_window()
driver.get("https://www.airbnb.cn/s/%E8%8B%8F%E5%B7%9E/homes?map_toggle=false&checkout=&parent_city_place_id=ChIJkVLh0Aj0AzQRyYCStw1V7v0&checkin=&refinement_paths%5B%5D=%2Fhomes")
time.sleep(5)
houses = driver.find_elements_by_css_selector('div._qrfr9x5')
types = driver.find_elements_by_css_selector('span._faldii7')
for i, house in enumerate(houses):
    content = house.text
    print('第' + str(i+1) + '套')
    print('名称:' + content)
    print('房型:' + types[i].text)
    print()
end = time.perf_counter()
print('cost: %.2fs'%(end - start))

爬取的爱彼迎页面：

爬取结果：

第1套
名称:地铁口拙政园平江路精致大床房
房型:整套公寓 · 1室1卫1床

第2套
名称:【托尼老师】山塘景区地铁边精装修两居室/旅游必选/摄影圣地
房型:整套公寓 · 2室1卫2床

第3套
名称:【观前街】爱之家地铁1号线/4号线交汇处近平江路/玄妙观/拙政园/苏州博物馆/火车站/怡园
房型:整套公寓 · 1室1卫1床

第4套
名称:<米来>苏州火车站/山塘街/平江路/拙政园/观前街/苏州园林/虎丘/万达广场
房型:整间阁楼 · 2室1卫2床

第5套
名称:百寸投影高层夜景大床房/苏州火车站/万达广场商圈/地铁2号线直达/靠近平江路/观前街/虎丘/拙政园
房型:整套公寓 · 1室1卫1床

第6套
名称:【无与伦比】公交直达园林/苏州站/虎丘
房型:整套公寓 · 3室1卫3床

第7套
名称:落地窗loft轻奢风公寓/苏州站/平江万达广场/距地铁百米/观前街/拙政园/家庭房
房型:整间阁楼 · 2室1.5卫2床

第8套
名称:安心住/严格消毒/观前街/平江路/拙政园/狮子林/地铁1号线/地铁4号线/雲墨简欧设计大床房
房型:整套公寓 · 1室1卫1床

第9套
名称:察院场社区 精装一室户 可短租可长租 拎包入住 押一付一联系方式18164484331
房型:整套公寓 · 1室1卫1床

第10套
名称:金鸡湖畔 苏州中心东方之门旁 地铁口别墅-双
房型:独立房间 · 2室2卫2床

第11套
名称:「钟林」观前街内百年老宅，一楼大床房投影仪，独卫独院。近平江路苏博拙政园
房型:客栈单间 · 1室1卫1床

第12套
名称:4米挑高简约大气蔚蓝风|近苏州站、苏州北站|前往拙政园、观前街、平江路便利
房型:整间阁楼 · 1室1卫1床

第13套
名称:苏医 · 苏医 · 苏州老城区/沧浪亭/投影仪/临近城区景点观前街拙政园平江路苏州博物馆
房型:整套公寓 · 2室1卫2床

第14套
名称:拙政园｜观前｜博物馆｜近地铁 木易家
房型:整套公寓 · 1室1卫1床

第15套
名称:《长租特惠》绿色清新 南向39层/观城景 苏州博物馆 拙政园 平江路 观前街 山塘街 火车站
房型:整套公寓 · 1室1卫1床

第16套
名称:高层城景落地窗大床房/投影仪/苏州火车站/万达广场商圈/地铁二号线直到/靠近平江路山塘街
房型:整套公寓 · 1室1卫1床

第17套
名称:观前第一百货对面 四号线察院场地铁口旁 精装一室户 押一付一 联系方式18164484331
房型:整套公寓 · 1室1卫1床

第18套
名称:金鸡湖畔 苏州中心东方之门旁 地铁口别墅-春
房型:独立房间 · 1室1卫1床

第19套
名称:【百寸投影】姑苏区/克拉璀璨/精装LOFT/地铁口直达平江路观前街拙政园苏州博物馆
房型:整间阁楼 · 2室2卫2床

第20套
名称:花筑+拙政园+地铁口直达+舒适大床房
房型:酒店客房 · 1室1卫1床

cost: 15.35s