爬虫学习笔记：爬取古诗文网

1、目标网站

目标网站：https://so.gushiwen.org/shiwen/default.aspx?

 

 

 

 

2、爬虫目的

爬取目标网站的文本，如古诗的内容，作者，朝代，并且保存到本地中。

 

 3、爬虫程序

# -*- coding:utf-8 -*-
#爬取古诗网站
import requests
import re

#下载数据
def write_data(data):
    with open('诗词.txt','a')as f:
        f.write(data)

for i in range(1,10):
    #目标url地址
    url =  "https://so.gushiwen.org/shiwen/default.aspx?page={}".format(i)
    headers={'User-Agent': 'Mozilla/5.0 (X11; L