python多线程框架_服务端socket开发之多线程和gevent框架并发测试[python语言]

最新推荐文章于 2021-08-27 18:30:00 发布
最新推荐文章于 2021-08-27 18:30:00 发布
阅读量124 收藏
点赞数
文章标签： python多线程框架

请多关注下我的个人博客，blog.xiaorui.cc

测试下多线程和gevent在socket服务端的小包表现能力，测试的方法不太严谨，

有点属于自娱自乐，要是有问题之处，请大家喷之 ！

每个连接都特意堵塞了0.5秒钟 ！

012011164.jpg

在大批量tcp测试下，threading的开销越来越大，所以造成了在并发数加大的情况下，出现threading崩溃的情况 ！  gevent是 libevent和协程的融合，一个线程里面都可以跑超多的协程！ 利用libevent做io堵塞的调度 ，gevent体系下，同一时间只有一个任务在运行 ！

先来测试下多线程：   我们就不加线程池了

#!/usr/bin/env python

# -*- coding: utf-8 -*-

#xiaorui.cc

import sys

import socket

import time

import threading

#xiaorui.cc

def threads(port):

s = socket.socket()

s.bind(('0.0.0.0', port))

s.listen(500)

while True:

cli, addr = s.accept()

t = threading.Thread(target=handle_request, args=(cli, time.sleep))

t.daemon = True

t.start()

def handle_request(s, sleep):

try:

s.recv(1024)

sleep(0.5)

s.send('''http/1.0 200 OK

Hello World! ''')

s.shutdown(socket.SHUT_WR)

print '.',

except Exception, ex:

print ex

finally:

sys.stdout.flush()

s.close()

if __name__ == '__main__':

threads(4444)

用threading跑socket，每个连接堵塞的时间是0.5

time ab -n 10000 -c 500 http://127.0.0.1:4444/

This is ApacheBench, Version 2.3 <$Revision: 655654 $>

Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/

Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 127.0.0.1 (be patient)

Completed 1000 requests

Completed 2000 requests

Completed 3000 requests

Completed 4000 requests

Completed 5000 requests

Completed 6000 requests

Completed 7000 requests

Completed 8000 requests

Completed 9000 requests

Completed 10000 requests

Finished 10000 requests

Server Software:

Server Hostname:        127.0.0.1

Server Port:            4444

Document Path:          /

Document Length:        0 bytes

Concurrency Level:      500

Time taken for tests:   11.123 seconds

Complete requests:      10000

Failed requests:        0

Write errors:           0

Total transferred:      470000 bytes

HTML transferred:       0 bytes

Requests per second:    899.01 [#/sec] (mean)

Time per request:       556.166 [ms] (mean)

Time per request:       1.112 [ms] (mean, across all concurrent requests)

Transfer rate:          41.26 [Kbytes/sec] received

Connection Times (ms)

min  mean[+/-sd] median   max

Connect:        0   33 177.0      0    1000

Processing:   500  508  33.9    501    1132

Waiting:      500  508  33.9    501    1132

Total:        500  541 201.8    501    2132

Percentage of the requests served within a certain time (ms)

50%    501

66%    501

75%    502

80%    505

90%    522

95%    532

98%   1534

99%   1722

100%   2132 (longest request)

real    0m11.145s

user    0m0.210s

sys     0m0.961s

012312118.jpg

加到800的时候~

012606797.jpg

gevent：

#xiaorui.cc

import sys

import socket

import time

import gevent

from gevent import socket

def server(port):

s = socket.socket()

s.bind(('0.0.0.0', port))

s.listen(500)

while True:

cli, addr = s.accept()

gevent.spawn(handle_request, cli, gevent.sleep)

def handle_request(s, sleep):

try:

data=s.recv(1024)

sleep(0.5)

s.send('''http/1.0 200 OK

Hello World! this is xiaorui.cc !!!''')

print data

request_string = "GET %s HTTP/1.1\r\nHost: %s\r\n\r\nServer: xiaorui.cc\n" %('index.html', '127.0.0.1')

s.send(request_string)

s.shutdown(socket.SHUT_WR)

print '.',‘be killed’

except Exception, ex:

print ex

finally:

s.close()

if __name__ == '__main__':

server(7777)

gevent跑socket服务：

并发数值是500的时候！

time ab -n 10000 -c 500 http://127.0.0.1:7777/

This is ApacheBench, Version 2.3 <$Revision: 655654 $>

Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/

Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 127.0.0.1 (be patient)

Completed 1000 requests

Completed 2000 requests

Completed 3000 requests

Completed 4000 requests

Completed 5000 requests

Completed 6000 requests

Completed 7000 requests

Completed 8000 requests

Completed 9000 requests

Completed 10000 requests

Finished 10000 requests

Server Software:

Server Hostname:        127.0.0.1

Server Port:            7777

Document Path:          /

Document Length:        0 bytes

Concurrency Level:      500

Time taken for tests:   11.312 seconds

Complete requests:      10000

Failed requests:        0

Write errors:           0

Total transferred:      20000 bytes

HTML transferred:       0 bytes

Requests per second:    884.04 [#/sec] (mean)

Time per request:       565.584 [ms] (mean)

Time per request:       1.131 [ms] (mean, across all concurrent requests)

Transfer rate:          1.73 [Kbytes/sec] received

Connection Times (ms)

min  mean[+/-sd] median   max

Connect:        0   44 202.7      0    1001

Processing:   500  513  10.1    511     707

Waiting:      500  513  10.1    511     707

Total:        500  557 204.1    512    1525

Percentage of the requests served within a certain time (ms)

50%    512

66%    515

75%    517

80%    519

90%    531

95%    552

98%   1521

99%   1523

100%   1525 (longest request)

real    0m11.334s

user    0m0.159s

sys     0m0.730s

010236465.jpg

服务端看到的信息都是正常的！

010104472.jpg

并发是1000的时候：

time ab -n 10000 -c 1000 http://127.0.0.1:7777/

This is ApacheBench, Version 2.3 <$Revision: 655654 $>

Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/

Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 127.0.0.1 (be patient)

Completed 1000 requests

Completed 2000 requests

Completed 3000 requests

Completed 4000 requests

Completed 5000 requests

Completed 6000 requests

Completed 7000 requests

Completed 8000 requests

Completed 9000 requests

Completed 10000 requests

Finished 10000 requests

Server Software:

Server Hostname:        127.0.0.1

Server Port:            7777

Document Path:          /

Document Length:        0 bytes

Concurrency Level:      1000

Time taken for tests:   7.406 seconds

Complete requests:      10000

Failed requests:        0

Write errors:           0

Total transferred:      20000 bytes

HTML transferred:       0 bytes

Requests per second:    1350.22 [#/sec] (mean)

Time per request:       740.623 [ms] (mean)

Time per request:       0.741 [ms] (mean, across all concurrent requests)

Transfer rate:          2.64 [Kbytes/sec] received

Connection Times (ms)

min  mean[+/-sd] median   max

Connect:        0  175 491.7      0    3000

Processing:   500  520  17.7    515     707

Waiting:      500  520  17.7    515     707

Total:        500  695 492.5    517    3521

Percentage of the requests served within a certain time (ms)

50%    517

66%    523

75%    538

80%    569

90%   1515

95%   1530

98%   1539

99%   3514

100%   3521 (longest request)

real    0m7.428s

user    0m0.208s

sys     0m0.741s

当并发到1500的时候：

time ab -n 10000 -c 1500 http://127.0.0.1:7777/

This is ApacheBench, Version 2.3 <$Revision: 655654 $>

Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/

Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 127.0.0.1 (be patient)

Completed 1000 requests

Completed 2000 requests

Completed 3000 requests

Completed 4000 requests

Completed 5000 requests

Completed 6000 requests

Completed 7000 requests

Completed 8000 requests

Completed 9000 requests

Completed 10000 requests

Finished 10000 requests

Server Software:

Server Hostname:        127.0.0.1

Server Port:            7777

Document Path:          /

Document Length:        0 bytes

Concurrency Level:      1500

Time taken for tests:   5.290 seconds

Complete requests:      10000

Failed requests:        0

Write errors:           0

Total transferred:      20000 bytes

HTML transferred:       0 bytes

Requests per second:    1890.27 [#/sec] (mean)

Time per request:       793.536 [ms] (mean)

Time per request:       0.529 [ms] (mean, across all concurrent requests)

Transfer rate:          3.69 [Kbytes/sec] received

Connection Times (ms)

min  mean[+/-sd] median   max

Connect:        0  214 404.9      1    1003

Processing:   500  522  23.0    514     716

Waiting:      500  522  23.0    514     716

Total:        500  736 406.7    520    1712

Percentage of the requests served within a certain time (ms)

50%    520

66%    558

75%    602

80%   1506

90%   1526

95%   1531

98%   1535

99%   1548

100%   1712 (longest request)

real    0m5.313s

user    0m0.275s

sys     0m0.763s

出现了少量的报错：

010710202.jpg

gevent 可以加个队列，来限制协程的数目，但是数目限制了，虽然稳定了，但是并发数上不去。

from gevent.pool import Pool

pool = Pool(N)

这里测试有点简单，虽然已经安排了连接的堵塞，但是毕竟不符合业务。 有时间把后端的任务改成才mongodb取数据 ！

©著作权归作者所有：来自51CTO博客作者rfyiamcool的原创作品，谢绝转载，否则将追究法律责任

gevent threadinggevent socket socket threadingpython应用

weixin_39582656
关注
python多线程网络编程
m0_59485658的博客
02-25 849
目前我们已经实现了socket在多线程下的一个简单的todo应用，通过一点一点的实现整个框架能够深入理解网络编程的原理。那么现在我们还有什么方面可以改进，还有什么地方需要考虑呢？下面给大家列出下一章将会覆盖的话题。1.使用正则表达式解析用户输入；2.使用技术;3.如何让浏览器也可以访问我们的服务器；
服务端socket开发之多线程和gevent框架并发测试[python语言]
weixin_33889245的博客
12-19 132
请多关注下我的个人博客，blog.xiaorui.cc测试下多线程和gevent在socket服务端的小包表现能力，测试的方法不太严谨，有点属于自娱自乐，要是有问题之处，请大家喷之 ！每个连接都特意堵塞了0.5秒钟 ！在大批量tcp测试下，threading的开销越来越大，所以造成了在并发数加大的情况下，出现threading崩溃的情况 ！  gevent是 libevent和协程的融合，一个线程...
python -- socketserver框架
defending的博客
07-24 363
SocketServer内部使用 IO多路复用 以及 “多线程” 和 “多进程” ，从而实现并发处理多个客户端请求的Socket服务端。即：每个客户端请求连接到服务器时，Socket服务端都会在服务器是创建一个“线程”或者“进 程” 专门负责处理当前客户端的所有请求。 1.ThreadingTCPServer ThreadingTCPServer实现的Soket服务器内部会为每个client创
Python由放弃到网络爬虫六：《多协程的用法（gevent库的使用）》
ff876409866的博客
10-17 505
多协程的用法 偶得一不错的爬虫教程，现博客分享，想要获取完整教程，加V：ff17328081445。文章为系列文章，持续更新，欢迎关注。 gevent库的应用 多协程能实现“让多个爬虫替我们干活”。 #!/usr/bin/python3 from gevent import monkey #从gevent库里导入monkey模块。 monkey.patch_all() #monkey.pat...
Python学习，gevent协程，多线程，多进程demo
二爷记
08-27 673
协程，线程，进程，多线程，多进程，线程池，本渣渣是彻底蒙蔽了，不过干就是了，二话不说写（抄）代码就是了，抄多了就明了了，说错了，写多了就会了！关于geventPython通过yield提供...
多线程与多进程处理python socket并发
一摩尔自由的博客
09-10 890
多线程处理Socket并发 server #!/usr/bin/env python import socket import threading server = socket.socket() server.bind(('', 9999)) server.listen(5) def readThread(conn, addr): """ 创建一个新的线程，负责和一个...
python之socket和多线程编程
qq_33970713的博客
02-02 493
#!/usr/bin/python # -*- coding: UTF-8 -*- """ 一下是server端程序部分 """ import socket #加入socket 模块 import threading #加入多线程模块，这个会在server端用到，创建多个线程用于接收客户端的连接 """ 这个程序用到了多线程中间的知识 首先绑定特定的主机和端口，进入listen()状...
python单线程下实现多个socket并发过程详解
09-18
在不考虑gevent的情况下，传统的并发模型包括多线程（threading）和多进程（multiprocessing）。多线程适合IO密集型任务，而多进程则适合CPU密集型任务。在代码示例中，我们看到如何使用Python的threading和...
python tcp服务器并发_python 实现socket服务端并发的四种方式
weixin_34304211的博客
12-30 513
多进程&多线程服务端：多进程和多线程的开启方式相同。缺点：<1> 由于Cpython的GIL，导致同一时间无法运行多个线程；<2> 不可能无限开进进程或线程解决办法：多进程、concurrent.futures.ProcessPoolExecutor、线程池import socketfrom multiprocessing import Processfrom th...
python模拟多线程http请求_用python实现自己的http服务器——多进程、多线程、协程、单进程非堵塞版、epoll版...
weixin_39908588的博客
12-15 299
了解http协议http请求头GET / HTTP/1.1Host: www.baidu.comConnection: keep-alivePragma: no-cacheCache-Control: no-cacheUpgrade-Insecure-Requests: 1User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebK...
python百万级并发_百万级别长连接，并发测试指南
weixin_32172693的博客
12-23 650
前言都说haproxy很牛x, 可是测试的结果实在是不算满意, 越测试越失望,无论是长连接还是并发, 但是测试的流程以及工具倒是可以分享分享。也望指出不足之处。100w的长连接实在算不上太难的事情，不过对于网上关于测试方法以及测试工具的相关文章实在不甚满意，才有本文。本文有两个难点,我算不上完全解决。后端代码的性能.linux内核参数的优化.环境说明下面所有的测试机器都是基于openstack云平...
python 多线程框架_python 插件架构 多线程多任务
weixin_35347870的博客
01-15 278
目的：很多时候，我们需要多个不同策略去完成一个任务，那个插件架构是很好一个选择。而每一个策略，不希望一个个去执行，还能实时上报数据，所以每一个插件都是异步执行，把每一个插件结果回调方法实时上报，然后写入数据。线程工具类#app/MyThread.pyimport threadingclass MyThread(threading.Thread):def __init__(self, func, *...
python多线程框架_基于python和bash的多线程任务框架 不要让cpu闲着了
weixin_39870238的博客
11-28 142
[Bash shell] 纯文本查看 复制代码#! /bin/bash###########################################################################################################part1:defile your job（第一部分，定义单核任务，需要根据你的实用任务改动）date >>time...
python多线程框架_百度T7架构师对于Python中多线程总结
weixin_29007135的博客
03-02 188
多线程一个进程中有多个线程就是多线程。一个进程中至少有一个线程，并作为程序的入口，这个就是主线程。一个进程至少有一个主进程，其他线程称为工作线程。线程安全：线程执行一段代码，不会产生不确定的结果，那这段代码就是线程安全。(例如print()线程不安全)线程的daemon属性daemon属性：表示线程是否是daemon线程，这个值必须在start()之前设置，否则引发RuntimeError异常is...
python3 - 多线程和协程速率测试对比
weixin_30526593的博客
02-28 423
多线程和协程都属于IO密集型，我通过以下用例测试多线程和协程的实际速率对比。 实例：通过socket客户端以多线程并发模式请求不同服务器端（这里服务器端分2种写法：第一种服务器通过协程实现，第二种服务器通过多线程实现）的访问速率 第一种服务器端写法：通过gevent实现 1 import socket 2 import gevent 3 from gevent import...
python高并发socket_python--gevent高并发socket
weixin_39974400的博客
11-29 94
server:import sysimport socketimport timeimport geventfrom gevent import socket,monkeymonkey.patch_all()def server(port):try:s = socket.socket()s.bind(('0.0.0.0',port))s.listen(500)while True:cli, add...
python--gevent高并发socket
jacke121的专栏
10-30 2885
python--gevent高并发socket 原文：https://www.cnblogs.com/guqing/p/6486275.html server: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值