利用urllib3 抓取博客列表

分析页面代码

从这段代码中可以找到很多规律，例如，每条博客的所有信息都包含在一个 
<div> 节点中，这个<div>节点的class属性值都是post-item-text，每一条博客的标题和URL都包含在一个<a>节点中，这个<a> 在，节点的class属性值是post-item-title。根据这些规律，很容易过滤出想要的信息。由于本例只需要得到：
博客的标题和URL，所以只关注 <a> 节点即可。本例的基本原理就是通过正则表达式过滤出所有class属性值为titlelenk的 <a>
 节点，然后从 <a>节点中提炼出博客标题和URL。

分析正则表达式

<a class="post-item-title" href="https://www.cnblogs.com/lianghong881018/p/15169424.html" target="_blank">基于RT1052 Aworks 内存扩容记录（一）</a>

这个是<a>的内容得到以下正则表达式

<a[^>]*post-item-title[^>]*>[^<]*</a>

• [^>]*：是匹配出来>字符的所有字符，在这里匹配class="，下一个则是匹配" href="https://www.cnblogs.com/lianghong881018/p/15169424.html" target="_blank"

完整代码

from urllib3 import *
from re import *

http  = PoolManager()
# 禁止显示警告信息
disable_warnings()
# 加载 url 对应得Web界面，即响应后转送的信息
def download(url):
    result = http.request('GET',url)
    # 获取Web页面对应的HTML代码
    htmlStr = result.data.decode('utf-8')
    return htmlStr

#分析HTML代码
def analyse(htmlStr):
    # 通过正则表达式获取 class 属性为 post-item-title 的<a>节点
    aList = findall('<a[^>]*post-item-title[^>]*>[^<]*</a>',htmlStr)
    result = []
    # 提取每一个<a>节点中的URL
    for a in aList:
        g = search('href[\s]*=[\s]*[\'"]([^>\'""]*)[\'"]',a)
        if g!=None:
            url = g.group(1)
        # a为字符串，找到索引通过切片来得到标题
        index1 = a.find(">")
        index2 = a.rfind("<")
        title = a[index1+1:index2]

        d = { }
        d['url'] = url
        d['title'] = title
        result.append(d)
    return result
# 抓取博客列表
def crawler(url):
    html = download(url)
    blogList = analyse(html)
    #输出信息
    for blog in blogList:
        print('title: ',blog['title'])
        print('url: ', blog['url'])

# 开始抓取
crawler('https://www.cnblogs.com')