python爬虫模拟浏览器访问-User-Agent过程解析

最新推荐文章于 2024-08-12 15:00:17 发布

程序员arlly

最新推荐文章于 2024-08-12 15:00:17 发布

阅读量6.2k

点赞数

分类专栏： python爬虫文章标签： python 编程语言

本文链接：https://blog.csdn.net/haoxun12/article/details/105160703

版权

本文详细解析Python爬虫如何模拟浏览器访问，重点介绍User-Agent的作用和使用，提供示例代码，并推荐了一个Python学习资源，包含入门资料、实战项目及每日技术分享。

摘要由CSDN通过智能技术生成

这篇文章主要介绍了python爬虫模拟浏览器访问-User-Agent过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

模拟浏览器访问-User-Agent：

import urllib2
 
#User-Agent 模拟浏览器访问
headers = {
   "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}
 
#通过urllib2.Request()方法构造一个请求对象
request = urllib2.Request("http://www.baidu.com/",headers = headers