python爬取笔记_使用python爬取整本《盗墓笔记》

一、前言

《盗墓笔记》是一本经典的盗墓题材小说，故事情节引人入胜。本文将使用python2.7通过小说网站http://www.daomubiji.com/来爬取整本盗墓笔记并保存，在这一过程中演示了使用python网络库requests实现简单的python爬虫以及使用html文档分析库BeautifulSoup分析网页。

二、准备

在进行下一步之前先要安装两个库：requests以及BeautifulSoup。

pip install requests

pip install beautifulsoup4

# BeautifulSoup的解析器

pip install lxml

pip install html5lib

我们通常都是使用浏览器来访问网页，浏览器发送请求给服务器，服务器根据请求将请求的数据返回给浏览器，浏览器再将这些数据显示出来。而使用爬虫则不再使用浏览器发送请求，而是使用程序发送，并且使用爬虫程序接受服务器返回的数据，requests就是一个能帮助我们发送请求给服务器并得到返回数据的库。得到返回数据后（如HTML），可以使用另一个库BeautifulSoup来对HTML进行解析，提取出我们想要的标签的内容。

requests文档：http://docs.python-requests.org/zh_CN/latest/user/quickstart.html

BeautifulSoup文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

三、网页分析

爬虫的基本思想是从网页中找到我们感兴趣的标签或链接，然后使用相关工具（如request和BeautifulSoup）来得到网页和标签的内容。下面对该网站的网页进行分析。

首先打开网站的主页http://www.daomubiji.com/来分析一下网页。我们知道盗墓笔记有很多部，打开后可以看到主页上列出了每一部的入口。

点进去其中的一部：《盗墓笔记1：七星鲁王宫》，我们可以看到该页显示了《盗墓笔记1》的每个章节。

再点进某一章节，就可以看到这一章的内容了。

在来分析一下各章的链接，在《盗墓笔记1：七星鲁王宫》中，第一章的链接为http://www.daomubiji.com/qi-xing-lu-wang-01.html，第二章的链接为http://www.daomubiji.com/qi-xing-lu-wang-02.html，以此类推。在浏览器按下F12，选择NetWork后刷新网页，我们可以看到网页请求的文件：

点击第一行，可以看到：

由Headers的内容可以看出该请求为一个简单的GET请求，没有任何参数，翻页是通过链接中的最后一个数字来实现的，比如01代表第一页、02代表第二页，所以只要我们得到所有章节的链接，然后从各章节对应的HTML文档中使用BeautifulSoup提取文章内容即可。总的步骤如下：

通过主页获取每本盗墓笔记的链接；

通过每本的链接获取每章的链接；

通过每章的链接获取每章标题与内容；

汇总每章的内容，保存进文件。

以下为各步骤的实现。

四、通过主页获取每本盗墓笔记的链接

打开主页http://www.daomubiji.com/并按下F12，点击左上角的鼠标（或者ctrl+shift+c）来选择元素，然后选择标题《盗墓笔记1：七星鲁王宫》，可以看到下图：

我们发现，每部书的链接都在一个名为article的标签下，由标签a中的href属性指定，所以我们可以使用BeautifulSoup提取出标签a的href属性。我们发现主页还包含两部其他小说：《沙海》和《藏海花》的链接:

而我们只想获得小说《盗墓笔记》，解决方法是使用BeautifulSoup来将这两个链接排除在外，该小节的代码如下：

from bs4 import BeautifulSoup

import requests

import re

def get_book_urls(url):

book_urls = []

#获取主页

index = requests.get(url)

soup = BeautifulSoup(index.content.decode("utf8"), 'lxml')

#从主页中找到所有的article标签

articles = soup.find_all("article", class_='article-content')

for article in articles:

#找到各本盗墓笔记的链接，并排除沙海和藏海花的链接

links = article.find_all('a', href=re.compile("dao-mu-bi-ji"))

for link in links:

book_urls.append(link["href"])

return book_urls

book_urls = get_book_urls("http://www.daomubiji.com")

print book_urls

输出：

这样我们就得到了每本的链接。

五、通过每本的链接获取每章的链接

点进第一本《七星鲁王宫》http://www.daomubiji.com/dao-mu-bi-ji-1后按F12并选择元素，选择每章的标题：

可以看到，每章的链接在article标签（该标签的class为"excerpt excerpt-c3"）下，由标签a的href属性指定，使用以下代码获取各章的链接：

def get_chapter_urls(url):

chapter_urls = []

#获取每本书对应的页面

page = requests.get(url)

soup = BeautifulSoup(page.content.decode("utf8"), "lxml")

#找到所有类为excerpt excerpt-c3的article标签

articles = soup.find_all("article", class_="excerpt excerpt-c3")

#提取article标签下a标签的href属性

for article in articles:

chapter_urls.append(article.a["href"])

return chapter_urls

chapter_urls = get_chapter_urls("http://www.daomubiji.com/dao-mu-bi-ji-1")

print chapter_urls

输出（一部分）：

六、通过每章的链接获取每章标题与内容

和前面一样，通过对文章内容进行“选择元素”，可以发现标题的标签如下：

内容的标签如下：

使用BeautifulSoup提取标签内容：

def get_content(url):

content = ""

page = requests.get(url)

soup = BeautifulSoup(page.content.decode("utf8"), "lxml")

#提取标题

title = soup.find_all("h1", class_="article-title")[0].string

content += ("\n"+title+"\n\n")

#找到包含文章内容的article标签

articles = soup.find_all("article", class_="article-content")

for article in articles:

ps = article.find_all('p') #找到包含文章每一段的标签p

for p in ps:

#print p.string

for string in p.strings:

content = content + unicode(string) + "\n" #获取标签p中的所有内容

return content

content = get_content("http://www.daomubiji.com/qi-xing-lu-wang-01.html")

print content

输出（一部分）：

这样我们对每一章的链接都执行以上操作就可以获得每一章的内容，再把每一章的内容汇总保存即可。

七、完整代码

完整代码如下：

from bs4 import BeautifulSoup

import requests

import re

# 获取每本书的链接

def get_book_urls(url):

book_urls = []

index = requests.get("http://www.daomubiji.com/")

soup = BeautifulSoup(index.content.decode("utf8"), 'lxml')

articles = soup.find_all("article", class_='article-content')

for article in articles:

links = article.find_all('a', href=re.compile("dao-mu-bi-ji"))

for link in links:

book_urls.append(link["href"])

return book_urls

# 获取每章的链接

def get_chapter_urls(url):

chapter_urls = []

page = requests.get(url)

soup = BeautifulSoup(page.content.decode("utf8"), "lxml")

articles = soup.find_all("article", class_="excerpt excerpt-c3")

for article in articles:

chapter_urls.append(article.a["href"])

return chapter_urls

# 获取每章的内容

def get_content(url):

content = ""

page = requests.get(url)

soup = BeautifulSoup(page.content.decode("utf8"), "lxml")

title = soup.find_all("h1", class_="article-title")[0].string

content += ("\n"+title+"\n\n")

articles = soup.find_all("article", class_="article-content")

for article in articles:

ps = article.find_all('p')

for p in ps:

for string in p.strings:

content = content + unicode(string) + "\n"

return content

# 获取全本《盗墓笔记》并保存到文件

def get_article(url):

book_urls = get_book_urls(url)

chapter_urls = []

for url in book_urls:

#url = "http://www.daomubiji.com/dao-mu-bi-ji-2"

chapter_urls.extend(get_chapter_urls(url))

print chapter_urls

result = ""

for chapter_url in chapter_urls:

content = get_content(chapter_url)

result += content

print content

with open("I:\daomubiji\daomubiji.txt", "a") as f:

f.write(result.encode("utf8"))

get_article("http://www.daomubiji.com/")

结果：