利用Python爬一下赵丽颖的新浪微博内容和评论

最近赵丽颖离婚时间闹得是沸沸扬扬啊，正好写了一个爬微博内容和评论的爬虫，很多功能后续还会完善，今天先上个尝鲜版，我们先看看爬虫的运行效果，上图：

可以看到我们已经读取到了赵丽颖微博的关注人数，粉丝数量，微博等级，微博主页链接，当然最重要的是微博内容和各大网友的吃瓜评论了，继续上图看看。

当然为了不给微博网站带来太多了压力，这里只爬取6条微博各20条评论，效果展示出来了就行了，爬完了内容和评论当然少不了内容展示的词云图，看效果

 

完整代码如下：

# -*- coding: utf-8 -*-
# author：zhangzesheng
# 导入爬虫库
# -*- coding: utf-8 -*-

import urllib.request
import json,re

#定义要爬取的微博大V的微博ID
id='1259110474'

#设置代理IP
proxy_addr="122.241.72.191:808"

#定义页面打开函数
def use_proxy(url,proxy_addr):
    req=urllib.request.Request(url)
    req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")
    proxy=urllib.request.ProxyHandler({'http':proxy_addr})
    opener=urllib.request.build_op