python 长连接_详谈python http长连接客户端

详谈python http长连接客户端

背景：

线上机器，需要过滤access日志，发送给另外一个api

期初是单进程，效率太低，改为多进程发送后，查看日志中偶尔会出现异常错误(忘记截图了。。。)

总之就是端口不够用了报错

原因：

每一条日志都是一次请求发送给api，短连接产生大量time_wait状态，占用了大量端口

这种高并发导致的大量time_wait状态内核调优基本是没用的，后来改为长连接解决问题

第一版短连接版本关键代码如下

因涉及具体业务信息，只贴出了关键部分代码

import pycurl

where True:

url=myqueue.get()

send_msg=pycurl.Curl()

send_msg.setopt(pycurl.URL,url)

send_msg.perform()

print send_msg.getinfo(send_msg.HTTP_CODE)

修改后长连接版本如下：

采用requests库

import requests

client=requests.session()

headers = {'Content-Type': 'application/json', 'Connection': 'keep-alive'}

where True:

url=myqueue.get()

r=client.get(url,headers=headers)

print r.status_code

以上这篇详谈python http长连接客户端就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

时间： 2017-06-11

由于tornado内置的AsyncHTTPClient功能过于单一, 所以自己写了一个基于Tornado的HTTP客户端库, 鉴于自己多处使用了这个库, 所以从项目中提取出来, 写成一个单独库 tornadohttpclient TornadoHTTPClient 是一个基于Tornado的高效的异步HTTP客户端库, 支持Cookie和代理, 目前仅在Python2.7平台上测试过, 不支持Python3 听取了仙子君的意见, 直接对tornado.curl_httpclient.CurlAs

httplib 是 python中http 协议的客户端实现,可以使用该模块来与 HTTP 服务器进行交互.httplib的内容不是很多,也比较简单.以下是一个非常简单的例子,使用httplib获取google首页的html: #coding=gbk import httplib conn = httplib.HTTPConnection("www.google.cn") conn.request('get', '/') print conn.getresponse().read()

在命令行输入以下代码: python import cv2 cv2.__version__ 以上这篇查看python下OpenCV版本的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们.

本文实例讲述了python实现telnet客户端的方法.分享给大家供大家参考.具体如下: python实现的telnet客户端程序,python自带一个telnetlib模块,可以通过其Telnet类实现telnet操作 import getpass import sys import telnetlib HOST = "hostname" user = raw_input("Enter your remote account:") password = getpa

httplib模块是一个底层基础模块,实现的功能比较少,正常情况下比较少用到.推荐用urllib, urllib2, httplib2. HTTPConnection 对象 class httplib.HTTPConnection(host[, port[, strict[, timeout[, source_address]]]]) 创建HTTPConnection对象 HTTPConnection.request(method, url[, body[, headers]]) 发送请求 HT

本文实例讲述了Python模块的制作方法.分享给大家供大家参考,具体如下: 1 目的 利用setup.py将框架安装到python环境中,作为第三方模块来调用, 2 第一步:完成setup.py的编写 以下代码相当于一个模板,只用更改name字段出,改为对应的需要安装的模块名称就可以,比如这里是:py_plus 将setup.py文件放到py_plus的同级目录下 from os.path import dirname, join # from pip.req import parse_requ

首先编写py程序: printtest.py def test(): print('print test') 将以上.py文件做成python模块,需要在相同目录下创建setup.py文件,setup.py中输入配置信息: from setuptools import setup setup(name='printtest', version='1.0', py_modules=['printtest'], ) 打开终端,定位到该文件夹下,输入: python setup.py sdist 此时

本文实例讲述了python使用wmi模块获取windows下硬盘信息的方法.分享给大家供大家参考.具体实现方法如下: # -*- coding: utf-8 -*- #import ######################################################################## import os, sys import time import wmi ################################################

之前用Python 2.7版本的httplib做接口测试时,运行代码都是正常的, 最近开始用Python 3.3之后,再去看以前的代码,发现import httplib出现错误:Unresolved import :httplib, 运行代码时也报错:ImportError: No module named 'httplib' 查找各种资料发现原来Python 2.x中的"httplib"模块在Python 3.x中变成了"http.client",就怪之前只了解了

前言 相信每位程序员应该都知道,在使用 Python 来写后台任务时,时常需要使用输出日志来记录程序运行的状态,并在发生错误时将错误的详细信息保存下来,以别调试和分析.Python 的 logging 模块就是这种情况下的好帮手. logging 模块可以指定日志的级别,DEBUG.INFO.WARNING.ERROR.CRITICAL,例如可以在开发和调试时,把 DEBUG 以上级别的日志都输出,而在生产环境下,只输出 INFO 级别.(如果不特别指定,默认级别是 warning) loggi

python下os模块强大的重命名方法renames详解 在python中有很多强大的模块,其中我们经常要使用的就是OS模块,OS模块提供了超过200个方法来供我们使用,并且这些方法都是和数据处理相关的,这里介绍下重命名这个方法. OS的重命名方法是os.rename,我用的ipython,这个玩意很是强大,只要按下TAB键,可以帮助我们自动对齐和列出可以使用的方法,发现有2个方法,分别是rename和renames,2个方法,前面的rename使用过无数次,但是后面的renames还没有使用过