最近赵丽颖离婚时间闹得是沸沸扬扬啊,正好写了一个爬微博内容和评论的爬虫,很多功能后续还会完善,今天先上个尝鲜版,我们先看看爬虫的运行效果,上图:
可以看到我们已经读取到了赵丽颖微博的关注人数,粉丝数量,微博等级,微博主页链接,当然最重要的是微博内容和各大网友的吃瓜评论了,继续上图看看。
当然为了不给微博网站带来太多了压力,这里只爬取6条微博各20条评论,效果展示出来了就行了,爬完了内容和评论当然少不了内容展示的词云图,看效果
完整代码如下:
# -*- coding: utf-8 -*-
# author:zhangzesheng
# 导入爬虫库
# -*- coding: utf-8 -*-
import urllib.request
import json,re
#定义要爬取的微博大V的微博ID
id='1259110474'
#设置代理IP
proxy_addr="122.241.72.191:808"
#定义页面打开函数
def use_proxy(url,proxy_addr):
req=urllib.request.Request(url)
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")
proxy=urllib.request.ProxyHandler({'http':proxy_addr})
opener=urllib.request.build_op