python爬虫—天猫商品

采用selenium模拟浏览器抓取天猫红酒销售和价格数据，主要解决了以下几个问题

1、采用selenium时爬虫效率问题，这里禁止了加载图片和加载javascript，代码如下

# 获取浏览器驱动(禁止加载图片和javascript)
options = webdriver.ChromeOptions()
pref = {'profile.default_content_setting_values': {'images': 2, 'javascript': 2}}
options.add_experimental_option('prefs', pref)
browser = webdriver.Chrome(chrome_options=options)
browser_wait = WebDriverWait(browser, 10)

2、BeautifulSoup解析网页

3、写入本地数据库

 采用自己封装的mysqlhelper类，直接写入本地mysql数据库。

未解决的问题：

1、未解决商品详情页的评论数据抓取，未解决响应码302

2、自己搭建的免费代理池质量不高，反扒效率不好

3、写入mysql效率很差，原因暂时未知