爬虫抓取新浪微博数据

工具：云采爬虫

目标：抓取某个博主的全部微博

分析网页结构：

我们抓取的思路是模拟浏览器自动访问页面抓取。

我们来看一下页面结构，首先每个微博列表，必须进行三四次的下拉加载，如果底部有个翻页的按钮，那么判断本页加载完成。

 

 

登录的问题

抓取需要登录账号，如何登录呢？

登录是不需要验证码的，如果你输入错了，才会叫你输入验证码，所以登录是没什么技术难度的。

我们可以创建一个【登录模块】，先用浏览器登录，往后所有的页面都基于这个浏览器共享的cookie去抓取。

 

 

流程图设计：

 

 

 

我们不需要微博的详情页。所以整个爬虫的流程是没有详情页的，数据都从列表里面提取。

爬取结果：

总共花费了5分钟的时间，抓取了10个页面，总计四百条微博。因为我的微博发的不是很频繁。

数据如下：

 

 

做个简单的词云：