python+selenium爬取淘宝商品信息+淘宝自动登录——爬虫实战

1.前言

继续学习爬虫内容，这回是以selenium模拟操作进行抓取，其中有几个需要登陆的注意事项。

2.自动登陆+查找页面

由于现在淘宝的反爬机制，需要登陆才好下一步操作。在搜索输入后页面会调入登陆界面，经过测试发现微博登陆是不需要验证码的，如果使用账号密码登陆是要滑动，但反爬更加严格，笔者暂时没有解决。也尝试过加cookie，也失败了。因此最好的方法还是利用微博账号自动登录。

登录后获取总页数，并返回。

代码如下：

def search_page():
    browser.get('https://www.taobao.com')
    #sleep(5)
    input = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#q')))
    #submit = wait.until(EC.element_to_be_clickable(By.CSS_SELECTOR,"#J_TSearchForm > div.search-button"))
    browser.find_element_by_name('q').send_keys('美食')
    browser.find_element_by_xpath('//*[@id="J_TSearchForm"]/div[1]/button').click()  ##搜索按钮
    sleep(3)
    #选择微博登录
    browser.find_element_by_xpath('//*[@id="J_OtherLogin"]/a[1]').click() 
    #自动填入账号密码
    browser.find_element_by_name