最近看到一篇推文,作者自己爬了自己的博客并做出了标签云。下面用我自己的方法来爬那位博主的博客(没办法,我的博客没什么价值,推荐大家可以关注他—下面有他的博客链接!)。
首先,调包,我用requests包爬取html,用pyquery与正则表达式结合匹配数据。
# -*- coding: utf-8 -*-
import requests
import time
from pyquery import PyQuery as pq
import re
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
获取网页html方法:
def get_html(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'}#使用浏览器查看自己的user-agent
try:
w = requests.get(url, headers=headers,timeout = 10)
html = w.text
except: #下面是应付反爬
time.sleep(5)
for i in range(3):
try:
w = requests.get(url, headers=headers,timeout = 10)