一个简单的python爬虫程序+分词+标签云

最近看到一篇推文，作者自己爬了自己的博客并做出了标签云。下面用我自己的方法来爬那位博主的博客（没办法，我的博客没什么价值，推荐大家可以关注他—下面有他的博客链接！）。

首先，调包，我用requests包爬取html，用pyquery与正则表达式结合匹配数据。

# -*- coding: utf-8 -*-
import requests
import time
from pyquery import PyQuery as pq
import re
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

获取网页html方法：

def get_html(url):
    headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'}#使用浏览器查看自己的user-agent
    try:
        w = requests.get(url, headers=headers,timeout = 10)
        html = w.text
    except:   #下面是应付反爬
        time.sleep(5)
        for i in range(3):
            try:
                w = requests.get(url, headers=headers,timeout = 10)