[Python网络编程]gevent httpclient以及网页编码

最新推荐文章于 2024-04-16 10:00:55 发布

yueguanghaidao

最新推荐文章于 2024-04-16 10:00:55 发布

阅读量4.8k

点赞数 1

分类专栏： python Python网络编程

本文链接：https://blog.csdn.net/yueguanghaidao/article/details/27688047

版权

本文介绍了在使用geventhttpclient时遇到的不支持重定向和同域名请求限制的问题，以及网页编码的困惑。作者通过自行封装解决了上述问题，并探讨了头部编码与实际网页编码的差异，提出头部编码优先的观点。

摘要由CSDN通过智能技术生成

之前看到geventhttpclient这个项目，https://github.com/gwik/geventhttpclient，官方文档说非常快，由于响应使用了C的解析，所以我一直想把这玩意用到项目中，

这两天一直在纠结这玩意，说实在一句话，比较难用，封装的不给力，最大缺陷如下：

1.不支持重定向，重定向需要自己来写，很费事

2.新建的httpclient对象只能发送同域名的请求

这相当的蛋疼，我花了一点时间封装了一下，解决了上面的两个问题，还增加了自动编解码问题，代码如下：

#!/usr/bin/env python
#-*-encoding:UTF-8-*-

import re
from geventhttpclient.url import URL
from geventhttpclient.client import HTTPClient,HTTPClientPool

from urlparse import urljoin


#from core.common import urljoin

HEADERS = {
    'Accept' : 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0'
}