Python爬虫urllib2之User-Agent、urllib2.Request ()、urllib2.urlopen()作用

最新推荐文章于 2023-06-10 18:59:23 发布

Mr.ZKH

最新推荐文章于 2023-06-10 18:59:23 发布

阅读量833

点赞数

本文链接：https://blog.csdn.net/weixin_44415461/article/details/96864425

版权

# -*- coding: UTF-8 -*-
import urllib2

#User-Agent 是爬虫和反爬虫斗争的第一步
ua_headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:67.0) Gecko/20100101 Firefox/67.0"
}

#通过urllib2.Request() 方法构造一个请求对象
request = urllib2.Request("http://www.baidu.com/",headers = ua_headers)

#向指定的url地址发送请求，并返回服务器响应的类文件对象
response = urllib2.urlopen(request)

#服务器返回的类文件对象支持Python文件对象的操作
#read()方法就是读取类文件里的全部内容，返回的是字符串
html = response.read()

print (html)

运行效果图:
在这里插入图片描述