python爬虫

王家视频教程图书馆

已于 2022-11-20 18:09:29 修改

阅读量181

点赞数

分类专栏： python 文章标签： python 爬虫开发语言

于 2021-04-03 08:59:16 首次发布

本文链接：https://blog.csdn.net/qq_35622606/article/details/115411889

版权

python 专栏收录该内容

16 篇文章 4 订阅

订阅专栏

本文探讨了如何使用Python的urllib库在不同浏览器环境下构造UserAgent并进行网页抓取，包括创建自定义Request对象和使用opener进行HTTP请求处理。重点在于理解如何通过伪装UserAgent来应对网站的反爬虫机制。

摘要由CSDN通过智能技术生成

不同浏览器的UserAgent
在这里插入图片描述

from urllib import request
import urllib.request
import re
# 访问的url
url = "http://www.baidu.com/"
# 浏览器的UserAgent
# 构造请求头信息
header = {
    "UserAgent":"Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0"}
# 创建自定义对象
# 反爬虫机制1:判断对象是否是浏览器
# 可以通过伪装浏览器进行访问
req = request.Rquest(url , headers=header)
# 发送请求 获取相应信息
# 解码---(编码encode())
reponse = urllib.request.urlopen(url).read().decode()
# 通过正则表达式拿到title信息
pat = "<title>(.*?)</title>"
date = re.findall(pat , reponse)
print(type(date))

from urllib import request
# 创建自定义opener
import urllib.request
import re
# 构建Http处理对象 (专门处理HTTP请求的对象)
http_hander = request.HTTPHandler()
# 创建自定义opener
opener = request.build_opener(http_hander)
# 创建自定义请求对象
req = request.Request("http://www.baidu.com")
# 发送请求 获取相应
repose = opener.open(req).read()
print(repose)