python爬虫案例

最新推荐文章于 2024-08-04 18:30:00 发布

IT-例子

最新推荐文章于 2024-08-04 18:30:00 发布

阅读量1.5k

点赞数

本文链接：https://blog.csdn.net/qq_43001132/article/details/124371402

版权

python

python简单爬虫案例

import requests

'''
如果程序返回的是(response 418)表示该网站是一个发爬虫网站,存在反爬的机制
解决方法:就是获取到网站的"User-Agent"
'''
url="https://www.douban.com/" #豆瓣首页
head={
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36"
}
r=requests.get(url=url,headers=head)
r.status_code #打印状态码为200表示获取成功
print(r)
print(r.text) #获取HTML代码