爬虫初探：豆瓣书籍名称爬取

给定需求：利用Python爬虫爬取豆瓣网的编程类首页书籍的名称并打印出来

问题分析：分三步骤实现获取网页内容、提取信息到列表中和输出结果。

（1）步骤1：从网络上获取编程书籍网页内容

（2）步骤2：提取网页内容中的书籍名称信息到列表中

（3）步骤3：利用数据结构展示并输出结果

代码实现：

import requests

from bs4 import BeautifulSoup

def getHTMLText(url):

    try:

        kv = {'user-agent':'Mozilla/5.0'}

        r = requests.get(url,headers=kv)

        r.raise_for_status()

        r.encoding = r.apparent_encoding

        return r.text

    except:

        return "产生异常"

def fillBookList(blist,html):

    soup = BeautifulSoup(html,"html.parser")

    for i in soup.find_all('a'):

        if i.get('title') == None:

            pass

        else:

            blist.append(i.get('title'))  

def printBookList(blist,num):

    print("{}".format("图书名称"))

    for i in range(num):

        b = blist[i]

        print("{}".format(b))

def main():

    binfo = []

    url = "https://book.douban.com/tag/%E7%BC%96%E7%A8%8B"

    html = getHTMLText(url)

    fillBookList(binfo,html)

    printBookList(binfo,20)

main()

参考资料：中国大学MOOC精品课程《Python网络爬虫与信息提取》