selenium库可以驱动浏览器自动进行页面的访问(代码参考《Python3网络爬虫开发实战》崔庆才著)
1.驱动浏览器访问淘宝页面
browser=webdriver.Chrome()
wait=WebDriverWait(browser,10)
def search():
try:
url="https://www.taobao.com"
browser.get(url)
#获取输入框
input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#q")))
#获取确定按钮
submit=wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#J_TSearchForm > div.search-button > button')))
#在输入款输入关键词
input.send_keys('美食')
#点击确定
submit.click()
#获取当前商品的总页数
total=wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.total')))
return total.text
except:
search()
2.登录模块
淘宝设置了登录后才可以查看商品信息,这对爬