1.前言
继续学习爬虫内容,这回是以selenium模拟操作进行抓取,其中有几个需要登陆的注意事项。
2.自动登陆+查找页面
由于现在淘宝的反爬机制,需要登陆才好下一步操作。在搜索输入后页面会调入登陆界面,经过测试发现微博登陆是不需要验证码的,如果使用账号密码登陆是要滑动,但反爬更加严格,笔者暂时没有解决。也尝试过加cookie,也失败了。因此最好的方法还是利用微博账号自动登录。
登录后获取总页数,并返回。
代码如下:
def search_page():
browser.get('https://www.taobao.com')
#sleep(5)
input = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#q')))
#submit = wait.until(EC.element_to_be_clickable(By.CSS_SELECTOR,"#J_TSearchForm > div.search-button"))
browser.find_element_by_name('q').send_keys('美食')
browser.find_element_by_xpath('//*[@id="J_TSearchForm"]/div[1]/button').click() ##搜索按钮
sleep(3)
#选择微博登录
browser.find_element_by_xpath('//*[@id="J_OtherLogin"]/a[1]').click()
#自动填入账号密码
browser.find_element_by_name