python唐诗分析综合_Python爬虫抓取唐诗宋词

一 说明

Python语言的爬虫开发相对于其他编程语言是极其高校的，在上一篇文章 爬虫抓取博客园前10页标题带有Python关键字(不区分大小写) 的文章中，我们介绍了使用requests做爬虫开发，它能处理简单 的任务，也是入门爬虫最简单的方式。接下来我们将为大家介绍使用 beautiful soup 库 来做稍微复杂一点的任务。

二 实操

#!/usr/bin/env python3

# -*- coding: utf-8 -*-

# @Time : 2020/7/23 5:58 下午

# @Author : Albert Ma

# @File : test1.py

import requests

from bs4 import BeautifulSoup

##################

# 唐诗300首代码开始

##################

numbers = []

dynasties = []

poets = []

names = []

poems = []

for i in range(1, 17):

i = str(i)

url = 'http://www.shicimingju.com/shicimark/tangshisanbaishou_' + i + '_0__0.html'

r = requests.get(url)

demo = r.text # 服务器返回响应

soup = BeautifulSoup(demo, "html.parser&