Python爬虫实战八之利用Selenium抓取淘宝匿名旺旺

其实本文的初衷是为了获取淘宝的非匿名旺旺，在淘宝详情页的最下方有相关评论，含有非匿名旺旺号，快一年了淘宝都没有修复这个。

很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！
QQ群：1097524789

可就在今天，淘宝把所有的账号设置成了匿名显示，SO，获取非匿名旺旺号已经不可能了。那本节就带大家抓取匿名旺旺号熟悉一下Selenium吧。

2016/7/1

前言

嗯，淘宝，它一直是个难搞的家伙。

而且买家在买宝贝的时候大多数都是匿名评论的，大家都知道非匿名评论是非常有用的，比如对于大数据分析，分析某个宝贝的购买用户星级状况等等。

现在已经不能获取非匿名了，此句已没有意义了。

对于抓淘宝，相信尝试过的童鞋都能体会到抓取它到艰辛，最简单的方法莫过于模拟浏览器了，本节我们就讲解一下利用 Selenium 抓取淘宝评论的方法。

项目提供了如下功能：

• 输入淘宝关键字采集淘宝链接并写入到文件
• 从文件读取链接，执行评论采集
• 将评论和旺旺号保存到Excel中
• 记录当前采集链接索引，保存进度

准备工作

在开始本节之前

你需要了解一些基础知识，我们需要用到 Selenium 这个东西，详情请看

Selenium用法

我们首先讲解一下你需要做怎样的配置。

首先你需要安装 Python，版本是2.7

然后需要安装的 Python 类库。

 

1	pip install pyquery selenium twisted requests xlrd xlwt xlutils

安装浏览器 Chrome，安装浏览器 Chrome，安装浏览器Chrome。

然后下载ChromeDriver，ChromeDriver是驱动浏览器的工具，需要把它配置到环境变量里。

有的童鞋说，为什么不用 PhantomJS，因为为了防止淘宝禁掉我们，需要登录淘宝账号，登录过程可能会出现奇奇怪怪得验证码，滚动条，手机验证，如果用 PhantomJS 的话不方便操作，所以在这里我们就使用 Chrome 了。

ChromeDriver

上面是 ChromeDriver 的下载地址，谷歌都上得了，这个不在话下吧，这是最官方的版本，其他链接请自行搜索。

找到对应平台的 ChromeDriver，解压后将可执行文件配置到环境变量里，配置到环境变量里，配置到环境变量里！重要的话说三遍。

流程简述

首先我们拿一个例子来演示一下全过程。

随意打开天猫一个链接

示例链接

我们首先观察一下评论，可以发现所有的评论都是匿名的。即使这个用户不是匿名评论的，那也会显示匿名，淘宝这保密做的挺好。