一、前言
2020-04-2日爬虫练习
爬取网站:诗词名句网的四大名著
需求:将四大名著的每一个章节存储到本地
技术路线:
1.requests
2.BeautifulSoup
3.os
二、代码解释
1、最近在学习 数据解析之BeautifulSoup4库 ,所以写这篇爬虫来练练手,巩固知识点。
BeautifulSoup4知识点参考我博文:【爬虫学的好,基础少不了】:数据解析之BeautifulSoup4库
2、其实我也是小白,学习python没多久,这样写代码的好处有两点、一、结构清晰,一个函数负责一个功能,二、能提高代码复用率。因为诗词名句网中每一个章节是一个页面,所以需要重复获取页面的html。
3、由于,特别是爬虫代码都有时效性,如果不能使用记得私聊我~
import requests
from bs4 import BeautifulSoup
import os, time
class Book:
def __init__(self):
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36',
'Referer': 'http://www.shicimingju.com/book/',
}
# 获取html
def get_html(self, url):
result = requests.get(url=url, headers=self.headers)