python3下的urlopen、urlencode、cookiejar、build_opener等

最新推荐文章于 2023-08-04 06:45:00 发布
最新推荐文章于 2023-08-04 06:45:00 发布
阅读量308 收藏
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010741112/article/details/115904530
版权

python3开始很多包的位置和python2.7以前的不一样了，比如：urllib2合并到了urllib下，urlopen使用时包的位置为urllib.request.urlopen，urlencode使用包位置为urllib.parse.urlencode，cookielib变更为了http.cookiejar

如：

cookie_jar = cookiejar.CookieJar()
#定义有添加cookie 功能的处理器
cookie_handler = urllib.request.HTTPCookieProcessor(cook_jar)
#根据处理器生成opener
opener = urllib.request.build_opener(cook_handler)

我是个假程序员
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
解决python3 urllib中urlopen报错的问题
12-25
最近更新了Python版本，准备写个爬虫，意外的发现urllib库中属性不存在urlopen，于是各种google，然后总结一下给出解决方案 问题的出现 AttributeError: ‘module’ object has no attribute ‘urlopen’ 问题的...
Python网络爬虫
m0_64986686的博客
03-13 1367
1，爬虫入门程序 #导入功能库 urllib2 import urllib2 #调用urllib2库的urlopen方法 第一个参数url即为URL response = urllib2.urlopen("http://www.baidu.com") #response 对象有一个 read 方法，可以返回获取到的网页内容。 print response.read() 2，爬虫程序添加data，header，然后post请求 #导入功能库库名 urllib urllib2 import ...
python 爬虫入门学习4 urllib添加cookies验证
qq_43475705的博客
01-25 1352
添加cookies 分为手动添加cookies 和 自动添加cookies 在登陆网页之后会在本地存储你的cookie信息，用于身份验证，就像是一把钥匙，我们可以手动添加cookie 和 自动添加cookie 当然自动添加cookie 是建立在手动的基础上， 手动添加cookie # 手动添加cookie 比较简单， 因为cookie 是存储在头部信息中的 如果想要添加cookie信息，只需要在header 中增加一条key header = { 'User-agent': '321', 'cooki
urllib2自定义opener
真理部
01-13 891
urllib2.urlopen()函数不支持验证、cookie或者其它HTTP高级功能。要支持这些功能，必须使用build_opener()函数创建自定义Opener对象。build_opener([handler1 [ handler2, … ]])参数handler是Handler实例，常用的有HTTPBasicAuthHandler、HTTPCookieProcessor、ProxyHandl
python爬虫-urllib2的使用方法详解(python3)
IT瘾君子的博客
11-25 1万+
文章目录python编程快速上手（持续更新中…）python爬虫从入门到精通urllib2概述python2与python3对比urlopenRequestUser-Agent添加更多的Header信息urllib2默认只支持HTTP/HTTPS的GET和POST方法URL编码转换：urllib.parse.urlencode模拟百度搜索批量爬取百度贴吧页面数据获取AJAX加载的内容(接口json)有道词典翻译网站处理HTTPS请求 SSL证书验证关于CA（了解）Handler处理器 和 自定义Opener
python爬虫(六)_urllib2：handle处理器和自定义opener
最新发布
javasdn的博客
08-04 900
构建一个HTTPHandler处理器#调用urllib2 . build_opener() 方法，创建支持处理 HTTP 请求的openeropener = urllib2 . build_opener(http_handler) #构建Request请求request = urllib2 . Request("http://www.baidu.com") #调用自定义的opener对象的open() 方法，发送request请求。
urllib2 之opener
qingxili的专栏
03-31 381
urllib2.urlopen()函数不支持验证、cookie或者其它HTTP高级功能。要支持这些功能，必须使用build_opener()函数创建自定义Opener对象。 build_opener ()返回的对象具有open()方法，与urlopen()函数的功能相同。   如果要修改http报头，可以用： import urllib2 opener = urllib2.build_o
Python urlopen()函数 示例分享
12-24
复制代码 代码如下:from urllib import urlopendoc = urlopen(“http://www.baidu.com”).read()print doc 二、获取Http头 复制代码 代码如下:from urllib import urlopendoc = urlopen(“http://www.baidu.com”)...
Python urlopen()和urlretrieve()用法解析
09-18
主要介绍了Python urlopen()和urlretrieve()用法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Python urllib模块urlopen()与urlretrieve()详解
12-23
1.urlopen()方法urllib.urlopen(url[, data[, proxies]]) :创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程数据。参数url表示远程数据的路径，一般是网址；参数data表示以post...
Python 3网络爬虫之代理用法
种一棵树，最好的结果是十年前，其次是现在！
08-28 934
代码摘抄之《Python 3网络爬虫开发实战》
python爬虫 - Urllib库及cookie的使用
皮皮blog
08-23 3万+
怎样扒网页？ 其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段HTML代码，加 JS、CSS。 如果把网页比作一个人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分是存在于HTML中的。 扒网页的栗子 import urllib2 response = urllib2.ur
爬虫之urllib2库的自定义Opener
lixinkuan的博客
02-13 537
Handler处理器 和 自定义Opener opener是 urllib2.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。 但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。所以要支持这些功能： 使用相关的Handler处理器来创建特定功能的处...
Python3爬虫代理服务器与cookie的使用
rotation博客
08-17 1万+
代理服务器的设置有时使用同一个IP去爬取同一个网站上的网页，久了之后会被该网站服务器屏蔽。那么怎么解决这个问题呢？ 解决的方法很简单，就是使用代理服务器。 使用代理服务器去爬取某个网站的内容的时候，在对方的网站上，显示的不是我们真实的IP地址，而是代理服务器的IP地址。并且在Python爬虫中，使用代理服务器设置起来也很简单。 给大家推荐一个网址，http://www.xicidaili.co
python爬虫使用Cookie如何进行
qq_38397646的博客
10-15 1250
python爬虫使用Cookie如何进行 Cookie指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)，比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用Urllib2库保存我们登录的Cookie，然后再抓取其他页面就达到目的了，那么python爬虫使用Cookie如何进行? 1、Opener 当你获取一个URL你使用一个opener(一个urllib2.OpenerDirector的实例)。在前面，我们都是使
python中获取cookie的两种方法
热门推荐
大蛇王的博客
05-15 6万+
第一种是利用selenium+phantomjs无界面浏览器的形式访问网站，再获取cookie值：# 导入模块 from selenium import webdriver driver=webdriver.PhantomJS() url="https://et.xiamenair.com/xiamenair/book/findFlights.action?lang=zh&tripTyp...
Python的Cookie详解
浅然的专栏
11-05 4万+
一、介绍啥是cookie 当用户通过浏览器首次访问一个域名时，访问的web服务器会给客户端发送数据，以保持web服务器与客户端之间的状态保持，这些数据就是cookie，它是Internet站点创建的，为了辨别用户身份而储存在用户本地终端上的数据，cookie大部分都是加密的，cookie存在与缓存中或者硬盘中，在硬盘中的是一些文本文件，当你访问该网站时，就会读取对应的网站的cookie信息，co
python 中的 cookie
seegroung的专栏
03-04 505
Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密） 比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用Urllib2库保存我们登录的Cookie，然后再抓取其他页面就达到目的了。 在此之前呢，我们必须先介绍一个opener的概念。 1.Opener 当你获取一个URL你使用一个op
python中cookies怎么用_详解在Python程序中使用Cookie的教程
weixin_34543510的博客
02-03 3660
大家好哈，上一节我们研究了一下爬虫的异常处理问题，那么接下来我们一起来看一下Cookie的使用。为什么要使用Cookie呢？Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用Urllib2库保存我们登录的Cookie，然后再抓取其他页面就达...
urllib.request.build_opener(SMBHandler)
05-26
这是使用 Python 中的 urllib 库中的 build_opener 方法创建一个用于访问 SMB（Server Message Block）协议的处理程序。SMBHandler 是一个在 urllib 库中定义的处理程序类，用于处理 SMB 协议的请求。该方法会返回一...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值