3、Request() 函数模拟浏览器实现网页下载
1def use_request(url):
2 if url is None:
3 # 定义爬虫的 url
4 url = “http://www.baidu.com”
5 # 构造 request 请求
6 request = urllib2.Request(url)
7 # 添加构造请求头
8 request.add_header(“user-agent”, “Mozilla/5.0”)
9 # 打开网页下载链接
10 response = urllib2.urlopen(request)
11 # 打印请求的响应状态,200 时表示成功
12 print “网页请求状态:”, response.getcode()
13 # read() 读取网页源代码内容
14 content = response.read()
15 # 打印源代码内容
16 print “源代码内容:”, content
17 # 获取源代码内容的字符串长度
18 print “网页字符串长度:”, len(content)
4、build_opener() 函数加入网页下载器处理 cookie 的能力
1def use_build_opener(url):
2 if url is None:
3 # 定义爬虫的 url
4 url = “http://www.baidu.com”
5 # 获取 cookie 对象
6 cookie = cookielib.CookieJar()
7 # 将 cookie 处理能力加入 opener
8 opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
9 # 安装 opener
10 urllib2.install_opener(opener)
11 # 打开下载链接
12 response = urllib2.urlopen(url)
13 # 打印请求的响应状态,200 时表示成功
14 print “网页请求状态:”, response.getcode()
15 # read() 读取网页源代码内容
16 content = response.read()
17 # 打印源代码内容
18 print “源代码内容:”, content
19 # 获取源代码内容的字符串长度
20 print “网页字符串长度:”, len(content)
21 # 打印 cookie 信息
22 print “cookie 信息”,cookie
最后
不知道你们用的什么环境,我一般都是用的Python3.6环境和pycharm解释器,没有软件,或者没有资料,没人解答问题,都可以免费领取(包括今天的代码),过几天我还会做个视频教程出来,有需要也可以领取~
给大家准备的学习资料包括但不限于:
Python 环境、pycharm编辑器/永久激活/翻译插件
python 零基础视频教程
Python 界面开发实战教程
Python 爬虫实战教程
Python 数据分析实战教程
python 游戏开发实战教程
Python 电子书100本
Python 学习路线规划
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!