python 爬虫几种简单获取浏览器静态网页html的方式

最新推荐文章于 2024-07-14 15:21:37 发布

FlenceXu

最新推荐文章于 2024-07-14 15:21:37 发布

阅读量5.1k

点赞数 3

分类专栏： 1010 文章标签：第一篇

本文链接：https://blog.csdn.net/qq_40243365/article/details/83001759

版权

本文介绍了Python爬虫通过urllib获取浏览器静态网页HTML的两种方法，包括设置浏览器头部和代理IP，以及不设置时可能遇到的问题。强调了网页编码解码的重要性。

摘要由CSDN通过智能技术生成

python 爬虫几种简单获取浏览器静态网页html的方式

1.导入urllib的方式

先导入需要的模块

import urllib
from urllib import request

两种方法：有浏览器头部和代理IP、没有浏览器头部和代理IP

有浏览器头部和代理IP

url = '需要访问的网址'
#将网页的url网址包装成请求
myrequest=request.Request(url)
#增加浏览器头部
    #准备头部,这里有好多 https://blog.csdn.net/m0_37499059/article/details/79003731
user_agent = [
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",
    "Mozi