这篇博客记录了作者初次学习爬虫的体验，通过Python的requests库获取HTML代码，并对比介绍了使用BeautifulSoup和lxml解析HTML的方法，推荐使用lxml因其速度更快。在解析过程中，提到了XPath的使用技巧，以及遇到的问题和解决办法，强调了爬虫学习需要多实践和熟悉常见问题。
一：前言
正式学习爬虫的第一天，感觉信息量巨大。用此篇博客来快速入门爬虫并爬取古诗文网的内容。(使用 requests lxml bs4)
二：过程
2.1 获取 url 中的 html 代码
中文官方文档指引(http://docs.python-requests.org/zh_CN/latest/user/quickstart.html)，内容繁琐比较多，本文精简整理必要内容。
先安装requests
pip install requests
在文档中引入
import requests
# url 是古诗文网的
url = 'https://so.gushiwen.org/guwen/Default.aspx?p=1&type=%e6%ad%a3%e5%8f%b2%
最低0.47元/天 解锁文章
扫一扫
924
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
