python爬虫学习笔记二（3):编写第一个简单的爬虫

最新推荐文章于 2023-02-23 17:36:30 发布

python零级

最新推荐文章于 2023-02-23 17:36:30 发布

阅读量283

点赞数

分类专栏： python爬虫文章标签： python html

本文链接：https://blog.csdn.net/m0_47431142/article/details/107460030

版权

参考书目 《python网络爬虫从入门到实践》唐松

2.4 编写第一个简单的爬虫

2.4.1 第一步：获取页面

import requests
url = "http://www.santostang.com/"
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3766.400 QQBrowser/10.6.4163.400'}

r = requests.get(url, headers = headers)
print(r.text)#获取网页内容代码

2.4.1 第二步：提取需要的数据

import requests
from bs4 import BeautifulSoup

url = "http://www.santostang.com/"
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3766.400 QQBrowser/10.6.4163.400'}

r = requests.get(url, headers = headers)
soup = BeautifulSoup(r.text, "html.parser")#使用beautifulsoup解析

#单击