通过selenium抓取新浪微博

由于新浪微博的手机网页的访问加入了验证码，所以抓取新浪微博的后门行不通了，经过一系列的研究，最终使用selenium工具模仿浏览器行为访问新浪微博公众号，因为浏览器访问网页时是以访客的形式访问 ，所以避免了用户登录这一过程，可以顺利的进行指定微博的内容抓取，selenium的缺点是无法确定页面加载完毕的时间也js执行完毕的时间，所以在抓取效率方面会有所牺牲。

首先我们先来了解一下selenium这个工具。selenium是一个模拟浏览器，进行自动化测试的工具，它提供一组API可以与真实的浏览器内核交互。Selenium是跨语言的，有Java、C#、python等版本，并且支持多种浏览器，chrome、firefox以及IE都支持。在Java项目中使用Selenium，需要做两件事。首先下载seleunim所需要的jar包，导入至工程中，然后下载使用的浏览器对应的驱动，本文中使用的是谷歌浏览器，对应的驱动是一个exe文件，推荐放在谷歌浏览的安装目录下，在代码中配置路径即可，本文以Java开发环境为例，抓取新浪微博指定微博的内容，直接上代码。

//等待数据加载的时间
//为了防止服务器封锁，这里的时间要模拟人的行为，随机且不能太短
long waitLoadBaseTime = 10000;
int waitLoadRandomTime = 3000;
Random random = new Random(System.currentTimeMillis());
// 设置 chrome 的路径
System.setProperty(
"webdriver.chrome.driver",
"C:\\Program Files (x86)\\Google\\Chrome\\Application\\chrome.exe");
// 创建一个 ChromeDriver 的接口，用于连接 Chrome
@SuppressWarnings("deprecation")
ChromeDriverService service = new ChromeDriverService.Builder()
.usingDriverExecutable(
new File(
"C:\\Program Files (x86)\\Google\\Chrome\\Application\\chromedriver.exe"))
.usingAnyFreePort().build();
service.start();
// 创建一个 Chrome 的浏览器实例
WebDriver driver = new RemoteWebDriver(service.getUrl(),
DesiredCapabilities.chrome());




// 让浏览器访问微博主页
driver.get("http://weibo.com/338303018");
//等待页面动态加载完毕
Thread.sleep(waitLoadBaseTime+random.nextInt(waitLoadRandomTime));


//选择每条微博的整体子模块
List<WebElement> elements = driver.findElements(By.cssSelector("div[action-type=feed_list_item]"));
//选择每条微博的文本内容模块
List<WebElement> elements2 = driver.findElements(By.cssSelector("div[node-type=feed_list_reason],div[node-type=feed_list_content]"));
System.out.println(elements.size());
for (int i = 0; i < elements.size(); i++) {


//展开评论
elements.get(i).findElement(By.cssSelector("a[action-type=fl_comment]")).click();;
Thread.sleep(1000);


}
//评论列表
List<WebElement> elements3 = driver.findElements(By.cssSelector("div[node-type=feed_list_commentList]"));
System.out.println(elements3.size());
int a = 0;
for (int i =0;i<elements2.size()&&a<elements3.size();i++) {
//抓取内容
String content = elements2.get(i).getText();
if (!content.contains("转发微博")) {


System.out.println("content:"+content);
//抓取评论
if (elements3.get(a).getText().isEmpty()) {


System.out.println("comment:no comment");


}else{


System.out.println("comment:"+elements3.get(a).getText());
}


a++;




}








}






driver.quit();
// 关闭 ChromeDriver 接口
service.stop();

相关jar包与驱动资源下载：http://download.csdn.net/detail/u013407099/9521615