两只有野心的小爬虫

爬虫入门 （2）

3.抓取豆瓣图书TOP250

开发环境已搭建好，正式开始爬虫之旅，今天，目标是–豆瓣图书TOP250。

和完成其他代码一样，编写爬虫之前，需要思考爬虫需要干什么、目标网站有什么特点，以及根据目标网站的数据量和数据特点选择合适的架构。推荐使用Chrome的开发者工具。windows下的快捷键是F12。效果如下：

爬取豆瓣图书Top250并保存每本书的书名、作者出版社等、评分、评价人数。
分为三步：

1.url分析

2.数据分析

3.爬取数据

---

1.url分析

豆瓣图书TOP250的url基本上是这样的：

https://book.douban.com/top250?start=

根据每个网页显示25个table，即所要爬取得图书，一共10页。选择其中一个table，查看其HTML结构，如下图所示：

图书在页面上的位置为一个class属性为indent中，每本图书信息放在了table标签里。

到这一步，就可以开始写代码了。先完成下载网页的代码，使用requests库：

#coding:utf-8
import requests

url='https://book.douban.com/top250'

def getSourceCode(url):
    html=requests.get(url)
    return html.text

def main():
    print getSourceCode(url)

if __name__=='__main__':
    main()

---

2.数据分析

为从源代码中提取我们需要的模块，即书名、作者出版社等、评分、评价人数，我们使用findall()函数查找每本书所具有的table标签，其中的title属性包含在a标签里，还可以判断a标签是否含有href属性,如果有的话,就可以提取href属性对应的url来获取这本书的详细介绍了。作者及出版社在p标签下。评分位于<span class=”rating_nums”> </span>，评价人数位于<span class=”pl”> </span>

具体代码如下：

 # 从源代码中提取出我们需要的内容块：{书名、作者出版社等、评分、评价人数}。
 def getEveryBookContent(self, sourceCode):
     everyBookContent = re.findall('<table width="100%">(.*?)</table>', sourceCode, re.S)
     # everyBookContent = re.findall('<div class="pl2">(.*?)</div>(.*?)<p class="pl">(.*?)</p>', sourceCode, re.S)
     return everyBookContent

# 从内容块中提取出数据
def getBookInfo(self, eachBookContent):
    bookInfo = {}
    # bookInfo['title'] = re.subn('( |\n|<br/>|</?span.*?>)', "", re.search('<a href=.*?>(.*?)</a>', eachBookContent, re.S).group(1))[0]
    bookInfo['title'] = re.sub('( |\n|<br/>|</?span.*?>)', "", re.search('<a href=.*?>(.*?)</a>', eachBookContent, re.S).group(1))
    bookInfo['author'] = re.search('<p class="pl">(.*?)</p>', eachBookContent, re.S).group(1)
    bookInfo['discussNum'] = re.sub('( |\n|<br/>)', "", re.search('<span class="pl">\((.*?)\)</span>', eachBookContent, re.S).group(1))
    bookInfo['score'] = re.search('<span class="rating_nums">(.*?)</span>', eachBookContent, re.S).group(1)
    return bookInfo

---

3.爬取数据

数据分析完成后,那么接下来爬取数据,写入文本都是很容易的事了。

代码如下：

 # 将结果保存到文件
 def saveBookInfo(self, bookList):
    f = open("bookList.txt", "a")
    for each in bookList:
        f.writelines('书  名:\t {}\n'.format(each['title']))
        f.writelines('作  者:\t {}\n'.format(each['author']))
        f.writelines('评论数:\t {}\n'.format(each['discussNum']))
        f.writelines('评  分:\t {}\n\n'.format(each['score']))
    f.close()

 def start(self, url):
    sourceCode = self.getSourceCode(url)
    everyBookContent = self.getEveryBookContent(sourceCode)
    bookList = []
    for each in everyBookContent:
        bookList.append(self.getBookInfo(each))
    self.saveBookInfo(bookList)

---

对上面的程序进行拼装，将结果输出到一个文件中，程序运行结束后，所有图书均写到bookList这个文本中。

完整代码如下：

# coding:utf-8
import requests
import re
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

class Spider(object):
def __init__(self):
    print('开始爬取豆瓣图书top250的内容。。。。。。')

# 传入url，返回网页源代码
def getSourceCode(self, url):
    html = requests.get(url)
    return html.text

# 从源代码中提取出我们需要的内容块：{书名、作者出版社等、评分、评价人数}。
def getEveryBookContent(self, sourceCode):
    everyBookContent = re.findall('<table width="100%">(.*?)</table>', sourceCode, re.S)
    # everyBookContent = re.findall('<div class="pl2">(.*?)</div>(.*?)<p class="pl">(.*?)</p>', sourceCode, re.S)
    return everyBookContent

# 从内容块中提取出数据
def getBookInfo(self, eachBookContent):
    bookInfo = {}
    # bookInfo['title'] = re.subn('( |\n|<br/>|</?span.*?>)', "", re.search('<a href=.*?>(.*?)</a>', eachBookContent, re.S).group(1))[0]
    bookInfo['title'] = re.sub('( |\n|<br/>|</?span.*?>)', "", re.search('<a href=.*?>(.*?)</a>', eachBookContent, re.S).group(1))
    bookInfo['author'] = re.search('<p class="pl">(.*?)</p>', eachBookContent, re.S).group(1)
    bookInfo['discussNum'] = re.sub('( |\n|<br/>)', "", re.search('<span class="pl">\((.*?)\)</span>', eachBookContent, re.S).group(1))
    bookInfo['score'] = re.search('<span class="rating_nums">(.*?)</span>', eachBookContent, re.S).group(1)
    return bookInfo

# 将结果保存到文件
def saveBookInfo(self, bookList):
    f = open("bookList.txt", "a")
    for each in bookList:
        f.writelines('书  名:\t {}\n'.format(each['title']))
        f.writelines('作  者:\t {}\n'.format(each['author']))
        f.writelines('评论数:\t {}\n'.format(each['discussNum']))
        f.writelines('评  分:\t {}\n\n'.format(each['score']))
    f.close()

def start(self, url):
    sourceCode = self.getSourceCode(url)
    everyBookContent = self.getEveryBookContent(sourceCode)
    bookList = []
    for each in everyBookContent:
        bookList.append(self.getBookInfo(each))
    self.saveBookInfo(bookList)


if __name__ == '__main__':
douban = Spider()
url = 'http://book.douban.com/top250?start=0'
i = 0
while i <= 225:
    url = 'http://book.douban.com/top250?start={}'.format(i)
    douban.start(url)
    i += 25