Python 爬虫入门 requests lxml bs4

一：前言

正式学习爬虫的第一天，感觉信息量巨大。用此篇博客来快速入门爬虫并爬取古诗文网的内容。(使用 requests lxml bs4)

二：过程

2.1 获取 url 中的 html 代码

中文官方文档指引(http://docs.python-requests.org/zh_CN/latest/user/quickstart.html)，内容繁琐比较多，本文精简整理必要内容。

先安装requests

pip install requests

在文档中引入

import requests

# url 是古诗文网的
url = 'https://so.gushiwen.org/guwen/Default.aspx?p=1&type=%e6%ad%a3%e5%8f%b2%e