在 Python 中编写爬虫小程序通常会使用到一些第三方库,比如 Requests 和 BeautifulSoup。
首先,需要安装这两个库,可以使用 pip 命令安装:
pipinstall requests
pip install beautifulsoup4
然后,就可以开始编写爬虫代码了。首先,使用 Requests 库发送 HTTP 请求,获取网页的 HTML 源代码:
import requests
url = 'http://www.example.com'
response = requests.get(url)
html = response.text
接下来,使用 BeautifulSoup 解析 HTML 源代码,并使用 find() 或 find_all() 方法提取你想要的信息:
from bs4 import