urllib和requests库

最新推荐文章于 2022-11-09 12:10:57 发布
最新推荐文章于 2022-11-09 12:10:57 发布
阅读量135 收藏
点赞数
文章标签： 爬虫 python php
原文链接：http://www.cnblogs.com/p0pl4r/p/10547232.html
版权

目录

 

正文

1. Python3 使用urllib库请求网络

1.1 基于urllib库的GET请求

请求百度首页www.baidu.com ，不添加请求头信息：

复制代码 
 1 import urllib.requests
 2 
 3 
 4 def get_page():
 5　　 url = 'http://www.baidu.com/'
 6 　　res = urllib.request.urlopen(url=url)
 7 　　page_source = res.read().decode('utf-8')
 8 　　print(page_source)
 9 
10 
11 if __name__ == '__main__':
12 　　get_page()
复制代码

输出显示百度首页的源码。但是有的网站进行了反爬虫设置，上述代码可能会返回一个40X之类的响应码，因为该网站识别出了是爬虫在访问网站，这时需要伪装一下爬虫，让爬虫模拟用户行为，给爬虫设置headers（User-Agent）属性，模拟浏览器请求网站。

1.2 使用User-Agent伪装后请求网站

由于urllib.request.urlopen() 函数不接受headers参数，所以需要构建一个urllib.request.Request对象来实现请求头的设置：

复制代码 
 1 import urllib.request
 2 
 3 
 4 def get_page():
 5　　 url = 'http://www.baidu.com'
 6 　　headers = {
 7 　　　　'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
 8 　　}
 9　　 request = urllib.request.Request(url=url, headers=headers)
10 　　res = urllib.request.urlopen(request)
11　　 page_source = res.read().decode('utf-8')
12 　　print(page_source)
13 
14 
15 if __name__ == '__main__':
16 　　get_page()
复制代码

添加headers参数，来模拟浏览器的行为。

1.3 基于urllib库的POST请求，并用Cookie保持会话

登陆ChinaUnix论坛，获取首页源码，然后访问一个文章。首先不使用Cookie看一下什么效果：

复制代码 
 1 import urllib.request
 2 import urllib.parse
 3 
 4 
 5 def get_page():
 6 　　url = 'http://bbs.chinaunix.net/member.php?mod=logging&action=login&loginsubmit=yes&loginhash=LcN2z'
 7　　 headers = {
 8 　　　　'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
 9 　　}
10 　　data = {
11 　　　　'username': 'StrivePy',
12 　　　　'password': 'XXX'
13 　　}
14 　　postdata = urllib.parse.urlencode(data).encode('utf-8')
15 　　req = urllib.request.Request(url=url, data=postdata, headers=headers)
16 　　res = urllib.request.urlopen(req)
17 　　page_source = res.read().decode('gbk')
18　　 print(page_source)
19 
20 　　url1 = 'http://bbs.chinaunix.net/thread-4263876-1-1.html'
21 　　res1 = urllib.request.urlopen(url=url1)
22 　　page_source1 = res1.read().decode('gbk')
23 　　print(page_source1)
24 
25 
26 if __name__ == '__main__':
27 　　get_page()
复制代码

搜索源码中是否能看见用户名StrivePy，发现登陆成功，但是再请求其它文章时，显示为游客状态，会话状态没有保持。现在使用Cookie看一下效果：

复制代码 
 1 import urllib.request
 2 import urllib.parse
 3 import http.cookiejar
 4 
 5 
 6 def get_page():
 7 　　url = 'http://bbs.chinaunix.net/member.php?mod=logging&action=login&loginsubmit=yes&loginhash=LcN2z'
 8 　　headers = {
 9 　　　　'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
10 　　}
11 　　data = {
12 　　　　'username': 'StrivePy',
13 　　　　'password': 'XXX'
14 　　}
15 　　postdata = urllib.parse.urlencode(data).encode('utf-8')
16 　　req = urllib.request.Request(url=url, data=postdata, headers=headers)
17 　　# 创建CookieJar对象
18 　　cjar = http.cookiejar.CookieJar()
19 　　# 以CookieJar对象为参数创建Cookie
20 　　cookie = urllib.request.HTTPCookieProcessor(cjar)
21 　　# 以Cookie对象为参数创建Opener对象
22 　　opener = urllib.request.build_opener(cookie)
23　　 # 将Opener安装位全局，覆盖urlopen函数，也可以临时使用opener.open()函数
24　　 urllib.request.install_opener(opener)
25 　　res = urllib.request.urlopen(req)
26 　　page_source = res.read().decode('gbk')
27 　　print(page_source)
28 
29 　　url1 = 'http://bbs.chinaunix.net/thread-4263876-1-1.html'
30 　　res1 = urllib.request.urlopen(url=url1)
31 　　page_source1 = res1.read().decode('gbk')
32 　　print(page_source1)
33 
34 
35 if __name__ == '__main__':
36 　　get_page()
复制代码

结果显示登陆成功后，再访问其它文章时，显示为登陆状态。若要将Cookie保存为文件待下次使用，可以使用MozillaCookieJar对象将Cookie保存为文件。

复制代码 
 1 import urllib.request
 2 import urllib.parse
 3 import http.cookiejar
 4 
 5 
 6 def get_page():
 7     url = 'http://bbs.chinaunix.net/member.php?mod=logging&action=login&loginsubmit=yes&loginhash=LcN2z'
 8     headers = {
 9         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
10     }
11     data = {
12         'username': 'StrivePy',
13         'password': 'XXX'
14     }
15     postdata = urllib.parse.urlencode(data).encode('utf-8')
16     req = urllib.request.Request(url=url, data=postdata, headers=headers)
17     filename = 'cookies.txt'
18     # 创建CookieJar对象
19     cjar = http.cookiejar.MozillaCookieJar(filename)
20     # 以CookieJar对象为参数创建Cookie
21     cookie = urllib.request.HTTPCookieProcessor(cjar)
22     # 以Cookie对象为参数创建Opener对象
23     opener = urllib.request.build_opener(cookie)
24     # 临时使用opener来请求
25     opener.open(req)
26     # 将cookie保存为文件
27     cjar.save(ignore_discard=True, ignore_expires=True)
复制代码

会在当前工作目录生成一个名为cookies.txt的cookie文件，下次就可以不用登陆（如果cookie没有失效的话）直接读取这个文件来实现免登录访问。例如不进行登陆直接访问其中一篇文章（没登陆也可以访问，主要是看抬头是不是登陆状态）：

复制代码 
 1 import http.cookiejar
 2 
 3 
 4 def get_page():
 5     url1 = 'http://bbs.chinaunix.net/thread-4263876-1-1.html'
 6     filename = 'cookies.txt'
 7     cjar = http.cookiejar.MozillaCookieJar(filename)
 8     cjar.load(ignore_discard=True, ignore_expires=True)
 9     cookie = urllib.request.HTTPCookieProcessor(cjar)
10     opener = urllib.request.build_opener(cookie)
11     res1 = opener.open(url1)
12     page_source1 = res1.read().decode('gbk')
13     print(page_source1)
14 
15 
16 if __name__ == '__main__':
17     get_page()
复制代码

结果显示是以登陆状态在查看这篇文章。

1.4 基于urllib库使用代理请求

使用代理可以有效规避爬虫被封。

复制代码 
 1 import urllib.request
 2 
 3 
 4 def proxy_test():
 5     url = 'http://myip.kkcha.com/'
 6     headers = {
 7         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
 8     }
 9     request = urllib.request.Request(url=url, headers=headers)
10     proxy = {
11         'http': '180.137.232.101:53281'
12     }
13     # 创建代理Handler对象
14     proxy_handler = urllib.request.ProxyHandler(proxy)
15     # 以Handler对象为参数创建Opener对象
16     opener = urllib.request.build_opener(proxy_handler)
17     # 将Opener安装为全局
18     urllib.request.install_opener(opener)
19     response = urllib.request.urlopen(request)
20     page_source = response.read().decode('utf-8')
21     print(page_source)
22 
23 
24 if __name__ == '__main__':
25     proxy_test()
复制代码

抓取到的页面应该显示代理IP，不知道什么原因，有时候能正常显示，有时候跳转到有道词典广告页！！！问题有待更进一步研究。

2. Python3 使用requsets库访问网络

2.1 基于requests库的GET请求

以GET方式请求http://httpbin.org测试网站。

复制代码 
 1 import requests
 2 
 3 
 4 def request_test():
 5     url = 'http://httpbin.org/get'
 6     response = requests.get(url)
 7     print(type(response.text), response.text)
 8     print(type(response.content), response.content)
 9 
10 
11 if __name__ == '__main__':
12     request_test()
复制代码

直接得到响应体。

1 <class 'str'> {"args":{},"headers":{"Accept":"*/*","Accept-Encoding":"gzip, deflate","Connection":"close","Host":"httpbin.org","User-Agent":"python-requests/2.18.4"},"origin":"121.61.132.191","url":"http://httpbin.org/get"}
2 
3 <class 'bytes'> b'{"args":{},"headers":{"Accept":"*/*","Accept-Encoding":"gzip, deflate","Connection":"close","Host":"httpbin.org","User-Agent":"python-requests/2.18.4"},"origin":"121.61.132.191","url":"http://httpbin.org/get"}\n

在GET方法中传递参数的三种方式：

  • 将字典形式的参数用urllib.parse.urlencode()函数编码成url参数:
    复制代码 
     1 import urllib.parse
 2 
 3 if __name__ == '__main__':
 4     base_url = 'http://httpbin.org/'
 5     params = {
 6         'key1': 'value1',
 7         'key2': 'value2'
 8     }
 9     full_url = base_url + urllib.parse.urlencode(params)
10     print(full_url)
    复制代码 
    1 http://httpbin.org/key1=value1&key2=value2
  • 直接在urllib.request.get()函数中使用params参数：
    复制代码 
    1 import requests
2 
3 if __name__ == '__main__':
4     payload = {
5         'key1': 'value1',
6         'key2': 'value2'
7     }
8     response = requests.get('http://httpbin.org/get', params=payload)
9     print(response.url)
    复制代码 
    1 http://httpbin.org/key1=value1&key2=value2
  • url直接包含参数： 
    1 http://httpbin.org/get?key2=value2&key1=value1

     

2.2 基于requests库的POST请求，并用session保持会话

登陆ChinaUnix论坛，获取首页源码，然后访问一个文章。首先不使用Session看一下什么效果：

复制代码 
 1 import requests
 3 
 4 
 5 def get_page():
 6　　 url = 'http://bbs.chinaunix.net/member.php?mod=logging&action=login&loginsubmit=yes&loginhash=LcN2z'
 7 　　headers = {
 8 　　　　'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
 9 　　}
10 　　data = {
11　　　　 'username': 'StrivePy',
12 　　　　'password': 'XXX'
13 　　}
14 　　response = requests.post(url=url, data=data, headers=headers)
15 　　page_source = response.text
16 　　print(response.status_code)
17 　　print(page_source)
18 
19 　　url1 = 'http://bbs.chinaunix.net/thread-4263876-1-1.html'
20 　　response1 = requests.get(url=url1, headers=headers)
21 　　page_source1 = response1.text
22 　　print(response1.status_code)
23 　　print(page_source1)
24 
25 
26 if __name__ == '__main__':
27 　　get_page()
复制代码

结果显示访问其它文章时为游客模式。接下来用session来维持会话看一下效果：

复制代码 
 1 import requests
 2 
 3 
 4 def get_page():
 5 　　url = 'http://bbs.chinaunix.net/member.php?mod=logging&action=login&loginsubmit=yes&loginhash=LcN2z'
 6 　　headers = {
 7 　　　　'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
 8 　　}
 9 　　data = {
10 　　　　'username': 'StrivePy',
11 　　　　'password': 'XXX'
12 　　}
13 　　session = requests.session()
14 　　response = session.post(url=url, data=data, headers=headers)
15 　　page_source = response.text
16 　　print(response.status_code)
17 　　print(page_source)
18 
19 　　url1 = 'http://bbs.chinaunix.net/thread-4263876-1-1.html'
20 　　response1 = session.get(url=url1, headers=headers)
21 　　page_source1 = response1.text
22　　 print(response1.status_code)
23 　　print(page_source1)
24 
25 
26 if __name__ == '__main__':
27 　　get_page()
复制代码

结果显示访问其它文章时，显示为登陆状态，会话保持住了。使用session的效果类似于urllib库临时使用opener或者将opener安装为全局的效果。

2.3 基于requests库使用代理请求

在requests库中使用代理：

复制代码 
 1 import requests
 2 
 3 
 4 def proxy_test():
 5     url = 'http://myip.kkcha.com/'
 6     headers = {
 7         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
 8     }
 9     proxy = {
10         'https': '61.135.217.7: 80'
11     }
12     response = requests.get(url=url, headers=headers, proxies=proxy)
13     print(response.text)
14 
15 
16 if __name__ == '__main__':
17     proxy_test()
复制代码

这个请求到的代码显示IP还是本地的网络IP，代理没起作用，具体原因有待研究。

 

转载于:https://www.cnblogs.com/p0pl4r/p/10547232.html

weixin_30888707
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python urllib3 requests
10-03
python urllib3 requests
Discuz 用户多次登录失败 要求填写验证码
Zsd
11-04 4757
目标 现在几乎所有的网站都会有验证码功能，有些是图文的，有些是填字符。在某个网站上看到过类似的功能，就想做一个。现在公司最近要求使用Discuz没办法，准备研究它的错误登录三次，就会要求等待15分钟时间的功能，并尝试修改它。 分析Discuz第一步分析discuz 登录入口 member.php 文件 登录的地址为：member.php?mod=logging&action=login& log
discuz论坛快速登录、分享帐号一键登录方法
weixin_33861800的博客
07-23 1110
仅需一个连接即可搞定，好友无需输入帐号密码 http://网址/member.php?mod=logging&action=login&loginsubmit=yes&infloat=yes&lssubmit=yes&fastloginfield=username&username=用户名&password=密码&quickforw...
使用python模拟登录
热门推荐
FFXY
03-22 10万+
使用python模拟登录 Windows + Linux 均成功
某吧爬虫 第一步
a18065597272的博客
11-09 931
爬虫很多，可以试着自己整一个。三言两语，走出第一步。首先浏览器打开某吧登录页面http://www.******.com/member.php?mod=logging&action=login按下F12，F5刷新页面，抓取到这条链接：“http://www.*******.com/member.php?mod=logging&action=login&loginsubmit...
python中urllib.request和requests的使用及区别详解
09-16
主要介绍了python中urllib.request和requests的使用及区别详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2021.12.21 urllib和requests.ipynb
10-31
2021.12.21 urllib和requests.ipynb
requests和urllib实现简单爬虫
01-06
requests和urllib实现简单爬虫
php实战第十四天
微凉
06-03 2904
今天学会了curl扩展的函数.写了一个 httpPost函数,恩是有效的,这个我想可以利用来做在线更新.或者是在线下载远程的资源. echo httpPost("http://bbs.125.la/member.php?mod=logging&action=login&loginsubmit=yes&infloat=yes&lssubmit=yes&inajax=1", array
Discuz!开发之会员登录流程解析
土著人宁巴的Discuz!专栏
04-11 5185
discuz登录流程解析，最近在研究，Ucenter的同步登陆机制，就先从discuz的登录开始了 1.form表单提交 member.php?mod=logging&action=login&loginsubmit=yes&handlekey=login&loginhash=Lm137&inajax=1 处理脚本  source/module/member/member_loggi
02-requests获取cookie练习
nanfeng_fei的博客
04-20 3435
由于好多网页登陆都需要进行图片认证，所以找了一个不需要认证的网站-曲谱论坛 该网站登陆后会弹出一个提示框写有即将跳转，稍作几秒才会跳转，但请求指挥获取最开始的页面信息，并不会获取跳转之后的，所以需要再次请求 方法主要为：requests.session()，MozillaCookieJar() 前者用来维持cookie和进行请求，后者用来将cookie存为文件并读取 import requests from http.cookiejar import MozillaCookieJ...
discuz论坛登陆信息外部调用的几种方法
日积月累的质变
03-20 8313
方法1：discuz登陆框是ajax调用的，一开始在firebug下看到了调用了接口： http://home.ecjtu.net/member.php ?mod=logging&action=login&infloat=yes&handlekey=login&inajax=1&ajaxtarget=fwin_content_login 1 http://h
python简单模拟登陆详解
q_5278的博客
12-30 917
要进行模拟登陆，那么我们首先要了解下http协议，这里我们简单介绍一下，方便后面的模拟登陆。 http协议属于应用层的面向对象协议 主要功能用来传输页面，所以传输页面有他特定的规则， 我们了解他的规则 实现多线程批量注册、投票、调到、发帖、都是可行的，网页除了Flash模块不能操作以外，其他Dom页面元素节点都可以操作。 url地址解析:http://host[“:”post
zbsystem login.php,zblog php版本如何修改后台默认登录地址
weixin_32557927的博客
03-22 636
zblog php版本如何修改后台默认登录地址2021-02-22 1:16:086zblog是一款非常强大的博客网站系统，以前一直都是asp版本，最近出了php版本，对于喜欢用php程序来建站的站长来说确实是一个福音。我就是喜欢用php语言，当zblog只有asp版本的时候，我一直用的都是wordpress，直到zblog的php版本发布后，我就转到了php版本的zblog。如果是asp版本的z...
暴力破解工具Hydra
lawliet的博客
12-23 1万+
博文视点 2016-12-20 15:20:23 浏览258 评论0 安全 Blog Hydra 摘要： Hydra是世界顶级的密码暴力破解工具，支持几乎所有协议的在线密码破解，功能强大，密码能否被破解的关键取决于破解字典是否足够强大。在网络安全渗透过程中，Hydra是一款必备的测试工具，配合社工库进行社会工程学攻击，有时会获得意想不到的效果。本文选自《黑客攻防：实战加密与解
ajax录入非法字符,飞哥 POST登录论坛 总是提示 您当前的访问请求当中含有非法字符，已经被系统拒绝...
weixin_36342477的博客
08-06 708
[C#] 纯文本查看 复制代码private void button1_Click(object sender, EventArgs e){HttpHelper help = new HttpHelper();HttpItem item = new HttpItem(){URL = "http://www.sufeinet.com/member.php?mod=logging&action...
爬虫urllib库和requests库
最新发布
03-16
urllib和requests是Python中常用的网络爬虫库。urllib提供了一组用于访问网络资源的模块，包括用于发送请求、处理响应、解析URL等功能。而requests则提供了一个高层次的接口，使得网络请求更加方便。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值