Python网络爬虫（二. 获取爬虫所需数据从而进行代码编写）

最新推荐文章于 2023-11-09 10:14:43 发布

陈同学q

最新推荐文章于 2023-11-09 10:14:43 发布

阅读量703

点赞数 1

分类专栏： Python 文章标签： python 爬虫

本文链接：https://blog.csdn.net/qq_54528857/article/details/120804347

版权

Python 专栏收录该内容

13 篇文章 3 订阅

订阅专栏

在Python网络爬虫中，获取一定的网页数据是必要的

(如： url, headers 等)

因为Google Chrome (点击进入官方下载地址) 浏览器的兼容性更高，所以这里推荐使用该浏览器进行网页浏览、抓包

这里以百度网页为例：

1. 在浏览器上方地址框输入 www.baidu.com，并进入该网页

在这里插入图片描述

2. 打开开发者页面

在页面空白处右键选择检查(Inspect) 或键盘键入F12 ，打开开发者模式
在这里插入图片描述

3. 点击刷新网页，或在开发者模式键入 CTRL+R 通过浏览器获取响应进行抓包

找到document类型文件，并单击

在这里插入图片描述

4.单击进入，可看到 Request URL,即为请求的网址

在这里插入图片描述

5. 向下滑动页面, 即可得到后续所需的User_Agent以及Cookie等数据

在这里插入图片描述

获取以上数据即可编写一个简单的网络爬虫get请求


import requests

url = 'https://www.baidu.com/'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'
}

response = requests.get(url, headers = headers)

print(response.text)



# 另外  拓展一下，
# 运行结束后，在同一文件夹下会自动生成一个名为’1.txt‘的文件，并存入了源码数据
with open("1.txt", "wb")as f:
    f.write(response.content)