基于requests的爬虫基础

最新推荐文章于 2023-05-22 16:25:48 发布

EasonPython

最新推荐文章于 2023-05-22 16:25:48 发布

阅读量556

点赞数 1

分类专栏： Python 爬虫文章标签： requests 爬虫 python

本文链接：https://blog.csdn.net/qq_40576301/article/details/99769801

版权

本文介绍了如何使用requests模块进行Python爬虫的基础操作，包括安装requests库、设置URL和headers参数，以及提供了两种不同的代码实现方式。

摘要由CSDN通过智能技术生成

1、首先安装requests模块 pip install requests

2、给出url和 headers的参数：

3、浏览器中按F12 进入network ，刷新页面，然后点击

基础完整代码如下：

import requests  #导入模块
url = 'https://www.baidu.com/'  #url地址

headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"}  # 请求头，用来模拟浏览器
#response = requests.get(url=url,headers=headers).text   #返回纯文本，可能乱码


response = requests.get(url=url,header