一、声明
本次爬取仅作为学习练习使用,如有冒犯请联系删除
练习目标
爬取网站中的小说并存起来
思路
-
- 爬取目录页,得到所有章节的链接地址
-
- 一次爬取每章小说的正文
二、准备工作
安装第三方库
- requests
- BeautifulSoup
详情可以我的另一篇: 第四篇:python网络爬虫
三、 实战演练
首先导入 requests
和BeautifulSoup
模块
import requests
from bs4 import BeautifulSoup
以爬取89文学网为例:
红色框起来的就是目标url
定义方法,传入目标url:
def get_novel_chapters():
root_url = "http://www.89wxw.cc/16/16705/"
r = requests.get(root_url)
r.encoding = "gbk"
soup = BeautifulSoup(r.text,"html.parser")
# 用于储存 文章url 以及对应的 文章名
data = []
# 因为所需的url都在dd标签内
for dd in soup.fin_all("dd")
link = dd