爱彼迎
被爱彼迎制裁的半死不活,用requests什么数据都返回不了,甚至自己用chrome浏览器打开爱彼迎搜索以后,也会一直报错
找了半天原因,也按照很多教程做了尝试,都没办法解决。只要打开新页面,就会报错,刷新一下内容才能出来。
换成Firefox后根本打不开
看来也只能用selenium打开一次,刷新一次了
既然使用了selenium,那就试试从主页进去搜索城市的功能吧。
path = r'/Users/chenbaba/Desktop/python/chromedriver'
browser = webdriver.Chrome(executable_path=path)
wait = WebDriverWait(browser, 10)
#找到搜索框,输入城市,并点击“搜索”按钮
def parse_bnb(url,kw):
browser.get(url)
browser.implicitly_wait(10)
city = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,"#Koan-via-HeroController__input")))
city.send_keys(kw)
login = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,"#ChinaSearchBarWithDate > form > div._mv0xzc > button")))
login.click()
搜索以后的结果只有15-17页,找到页面中的“下一页”按钮,点它~
next_page = wait.until(EC.element_to_be_clickable((By.CSS_SELECTO