python +Selenium 爬取淘宝商品评论

第一步

现在淘宝防爬取做的比较好，如果直接爬的话总是出现登陆界面。从而获取不到信息。
解决办法，新建 淘宝.py

import json
from selenium import webdriver
from selenium.webdriver.firefox.options import Options

options = Options()
dirver = webdriver.Firefox(firefox_options=options)
dirver.get(
    'https://login.taobao.com/member/login.jhtml?redirectURL=http%3A%2F%2Fbuyertrade.taobao.com%2Ftrade%2Fitemlist%2Flist_bought_items.htm%3Fspm%3D875.7931836%252FB.a2226mz.4.66144265Vdg7d5%26t%3D20110530')
# 这里是为了等待手机扫码登录, 登录后回车即可
input("请回车登录")
dictCookies = dirver.get_cookies()
jsonCookies = json.dumps(dictCookies)
# 登录完成后,将cookies保存到本地文件
with open("cookies_tao.json", "w") as fp:
    fp.write(jsonCookies)

用来保存你登陆后的cookie。

第二步

用你保存下来的cookie实现登录，爬取商品的评论信息
新建爬取.py