Handler处理器和自定义Opener

最新推荐文章于 2019-10-23 17:59:18 发布
VIP文章 最新推荐文章于 2019-10-23 17:59:18 发布
阅读量156 收藏
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/perfectsorrow/article/details/80017788
版权

简单的自定义opener()

import urllib2
http_handler = urllib2.HTTPHandler(debuglevel=1)
#http_handler = urllib2.HTTPSHandler()
opener = urllib2.build_opener(http_handler)
request = urllib2.Request("http://www.baidu.com/")
response = opener.open(request)
print response.read()

ProxyHandler处理器（代理设置）

#coding:utf-8
import urllib2
import random
proxy_list = [
    {
最低0.47元/天 解锁文章
perfectsorrow
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python 正则匹配生日
perfectsorrow的博客
04-20 2646
import re line = "xxx出生于2001年6月1日" # line = "xxx出生于2001年06月01日" # line = "xxx出生于2001年6月" # line = "xxx出生于2001/06/01" # line = "xxx出生于2001/06/01" # line = "xxx出生于2001/06" # line = "xxx出生于2001
Handler处理器 和 自定义Opener
浅汐
01-16 249
opener是 urllib2.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。 但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。所以要支持这些功能： 使用相关的 Handler处理器 来创建特定功能的处理器对象；然后通过 urllib2.build_ope
handle处理器和自定义opener
qq_15551663的博客
09-19 290
handle处理器和自定义opener     本文将介绍handler处理器和自定义opener，更多内容请参考:python学习指南 opener和handleer     我们之前一直使用的是urllib2.urlopen(url)这种形式来打开网页，它是一个特殊的opener(也就是模块帮我们建好的)，opener是urllib2.OpenerDirectory的实例。     但是...
Python:urllib2模块Handler处理器 和 自定义Opener
Lansonli（蓝深李）的博客
10-23 550
Handler处理器 和 自定义Opener opener是 urllib2.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。 但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。所以要支持这些功能： 使用相关的Handler处理器来创建特定功能的处...
Python Handler处理器和自定义Opener原理详解
09-17
主要介绍了Python Handler处理器和自定义Opener原理详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
SpringMVC框架实现Handler处理器的三种写法
08-25
主要介绍了SpringMVC框架实现Handler处理器的三种写法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
urllib2自定义opener详解
12-24
要支持这些功能，必须使用build_opener()函数创建自定义Opener对象。 复制代码 代码如下:build_opener([handler1 [ handler2, … ]]) 参数handler是Handler实例，常用的有HTTPBasicAuthHandler、HTTPCookieProcessor...
11-handler处理器示例.py
04-28
# 创建自定义的opener对象 opener = urllib.request.build_opener(http_handler) # 利用opener对象的open()方法发请求 req = urllib.request.Request(url) res = opener.open(req) print(res.read().decode("utf-8")...
斗鱼抓取
perfectsorrow的博客
04-22 1461
#coding:utf-8 from selenium import webdriver from bs4 import BeautifulSoup as bs driver = webdriver.PhantomJS() driver.get("https://www.douyu.com/directory/all") while True: soup = bs(driver.page...
Tesseract
perfectsorrow的博客
04-22 505
import pytesseract from PIL import Image image = Image.open('./test.png') text = pytesseract.image_to_string(image) print text
urllib2 cookie
perfectsorrow的博客
04-20 415
cookielib库 和 HTTPCookieProcessor处理器    1. 获取Cookie，并保存到CookieJar()对象中  import urllib2 import cookielib cookiejar = cookielib.CookieJar() handler = urllib2.HTTPCookieProcessor(cookiejar) opener = urlli...
urllib2 的异常错误处理
perfectsorrow的博客
04-20 406
URLErrorimport urllib2 request = urllib2.Request('http://www.ajkfhafwjqh.com') try: urllib2.urlopen(request, timeout=5) except urllib2.URLError, err: print err HTTPErrorimport urllib2 request ...
深度遍历与广度遍历
perfectsorrow的博客
04-20 266
#深度优先 递归 def depth_tree(tree_node): if tree_node is not None: print(tree_node._date) for i in tree_node: if i is not None: return depth_tree(i)#广度优先 队列 ...
抓取百度贴吧图片
perfectsorrow的博客
04-21 258
# -*- coding:utf-8 -*- import urllib import urllib2 from lxml import etree def loadPage(url): request = urllib2.Request(url) html = urllib2.urlopen(request).read() content = etree.HTML(ht...
多线程抓取糗事百科
perfectsorrow的博客
04-22 237
#!/usr/bin/env python # -*- coding:utf-8 -*- import threading from Queue import Queue from lxml import etree import requests import json import time class ThreadCrawl(threading.Thread): def __in...
抓取糗事百科
perfectsorrow的博客
04-21 224
# -*- coding:utf-8 -*- import requests from lxml import etree page = 1 url = "https://www.qiushibaike.com/text/page/" + str(page) headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows ...
python 抓取内涵段子
perfectsorrow的博客
04-21 221
#coding:utf-8 import urllib2 import re class Spider: def __init__(self): self.page = 1 self.switch = True def loadPage(self): print "正在下载数据...." url = "http://...
抓取腾讯职位
perfectsorrow的博客
04-21 195
from bs4 import BeautifulSoup import urllib2 import urllib import json def tencent(): url = 'http://hr.tencent.com/' request = urllib2.Request(url + 'position.php?&start=10#a') respon...
mybatis自定义类型处理器处理自定义的map
最新发布
07-09
在MyBatis中，你可以使用自定义的类型处理器（TypeHandler）来处理自定义的Map类型。类型处理器用于在Java对象和数据库字段之间进行转换。 以下是一种实现自定义类型处理器处理自定义的Map的示例： 1. 定义一个自定义的Map类型，例如`CustomMap`： ```java public class CustomMap extends HashMap<String, Object> { // 添加自定义的方法或属性 } ``` 2. 实现一个自定义的类型处理器，继承自`org.apache.ibatis.type.BaseTypeHandler`类，并实现对应的方法。 ```java import org.apache.ibatis.type.BaseTypeHandler; import org.apache.ibatis.type.JdbcType; import java.sql.CallableStatement; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; public class CustomMapTypeHandler extends BaseTypeHandler<CustomMap> { @Override public void setNonNullParameter(PreparedStatement ps, int i, CustomMap parameter, JdbcType jdbcType) throws SQLException { // 将CustomMap转换为需要的数据类型，并设置到PreparedStatement中 // ps.setXXX(i, convertedValue); } @Override public CustomMap getNullableResult(ResultSet rs, String columnName) throws SQLException { // 从ResultSet中获取指定列名的值，并将其转换为CustomMap类型 // Object columnValue = rs.getXXX(columnName); // CustomMap map = convertToCustomMap(columnValue); // return map; return null; } @Override public CustomMap getNullableResult(ResultSet rs, int columnIndex) throws SQLException { // 与上面类似，只是根据列索引获取值 return null; } @Override public CustomMap getNullableResult(CallableStatement cs, int columnIndex) throws SQLException { // 与上面类似，只是在CallableStatement中获取值 return null; } } ``` 在上述示例中，我们继承了`BaseTypeHandler`类，并重写了父类的方法，在这些方法中进行了自定义类型的转换逻辑。 3. 在MyBatis的配置文件中，注册自定义的类型处理器。 ```xml <typeHandlers> <typeHandler handler="com.example.CustomMapTypeHandler"/> </typeHandlers> ``` 通过以上步骤，你就可以使用自定义的Map类型，并通过自定义的类型处理器来处理该类型的转换逻辑。在数据库操作时，MyBatis会自动调用类型处理器来进行转换。你可以根据实际需求，在类型处理器中编写相应的转换逻辑，将自定义的Map类型与数据库字段进行转换。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值