用 Python 做到每秒处理上百万次 HTTP 恳求，或许吗？或许不能，但直到近来，这已成为实际。
许多公司都在为了提高程序的履行功能和下降服务器的运营本钱，而放弃 Python 去选择其它编程语言，本来这么做并不是有必要，因为 Python 完全可以担任这些使命。
Python 社区近来做了很多对于功能的优化。CPython 3.6 重写了新的字典然后全部提高解析器的履行功能。因为引进更快的调用规矩和字典查询缓存，CPython 3.7 乃至还要更快。
我们可以用 PyPy 的 Just-in-Time 来编译杂乱的科学核算使命，NumPy 的测验套件也优化了和 C 拓展的兼容性，同时 PyPy 还方案于本年晚些时候做到和 Python 3.5 保持一致。
这些振奋人心的改变鼓励着我想要有所立异，Python 所擅长的范畴很多，我选择了其间一个：Web 和 MicroServices 开发。
了解 Japronto!
Japronto 是一个全新的，为微服务量身打造的微框架。实现它的主要目标包含够快、可扩展和轻量化。的确它快的吓人，甚至远比 NodeJS 和 Go 还要快的多的多。要感谢 asyncio，让我可以同时编写同步和异步代码。
Python 的微框架(蓝色)、NodeJS 和 Go (绿色) 和 Japronto (紫色)
勘误表：用户 @heppu 提到，如果谨慎点用 Go 的 stdlib HTTP 服务器可以写出比上图的 Go 快 12% 的代码。另外 fasthttp 也是一个非常棒的 Go 服务器，同样的测试中它的性能几乎只比 Japronto 低 18%。真是太棒了！更多细节查可以看 https://github.com/squeaky-pl/japronto/pull/12 和 https://github.com/squeaky-pl/japronto/pull/14
想要一起学习python的可以加群301056069，群里有大量学习资料，还有大神解答问题
咱们能够看到本来 Meinheld WSGI 服务器已经和 NodeJS 和 Go 的功能差不多了。尽管它用的是堵塞式设计，但仍是要比前面那四个要快的多，前面四个用的是异步的 Python 解决方案。所以，不要容易信任他人那些对于异步体系老是比同步体系更快的说法，尽管都是并发处理的问题，但现实远不如想象的那么简单。
尽管我仅仅用 “Hello World” 来完结上面这个对于微结构的测验，但它清晰的展示了各种服务器结构的处理才能。
这些测验是在一台亚马逊 AWS EC2 的 c4.2xlarge 实例上完结的，它有 8 VCPUs，数据中心选在圣保罗区域，同享主机、HVM 虚拟化、一般磁盘。操作体系是 Ubuntu 16.04.1 LTS (Xenial Xerus)，内核为 Linux 4.4.0–53-generic x86_64。操作体系显现的 CPU 是 Xeon® E5–2666 v3 @ 2.90GHz。Python 我用的版本是 3.6，刚从源码编译来的。
公正起见，一切程序，包含 Go，都只运行在单个处理器内核上。测验东西为 wrk，参数是 1 个线程，100 个连接和每个连接 24 个恳求(累计并发 2400 次恳求)。
HTTP 流水线
HTTP 流水线在这里起着决定性的因素，由于 Japronto 用它来做履行并发恳求的优化。
大多数服务器把来自客户端的流水线和非流水线恳求都天公地道，用相同的方法处理，并没有做针对性的优化。(实际上 Sanic 和 Meinheld 也是静静的把流水线恳求当做非流水线来处理，这违反了 HTTP 1.1 协议)
简单来说，经过流水线技能，客户端不必比及服务器端回来，就可以在同一条 TCP 链接上持续发送后续的恳求。为了保证通讯的完整性，服务器端会依照恳求的次序逐个把成果回来给客户端。
细节优化进程
当成堆小的 GET 恳求被客户端以流水线打包发送过来，服务器端很也许只需要一次体系调用，读取一个 TCP 数据包就能拿到悉数的恳求。
体系调用，以及在内核空间到用户空间之间移动数据，相比起在进程内部移动数据，本钱要高的多。这即是为何不到万不得已，要尽也许少做体系调用的次数。
当 Japronto 收到数据并成功解析出恳求序列时，它会测验尽也许快的把这些恳求履行完结，并以正确的次序兼并一切成果，然后只履行一次体系调用发送数据给客户端。实际上由于有 scatter/gather IO 这么的体系调用，兼并的工作并不需要自己去完结，只不过 Japronto 暂时还没有用到这些功用。
但是工作并不老是那么完美，有时候恳求需要消耗很长时刻去处理，等候完结的进程增加了不必要的延迟。
当咱们做优化时，有必要思考体系调用的本钱和恳求的预期完结时刻。
经过优化 Japronto 拿到了 1,214,440 RPS 的成绩
除了利用客户端流水线恳求，和优化调用，还有一些其它可用的技能。
Japronto 简直都是用 C 写的。包括解析器、协议、连接办理、路由、恳求、应答等目标都是用 C 拓展写的。
Japronto 力求做到 Python 的懒加载，比方，协议头的字典只要在被企图恳求届时才会被创立，别的一系列的目标也只要在首次运用时才会被创立。
Japronto 运用超牛逼的 picohttpparser C 库来解析状态、协议头以及分片的 HTTP 音讯体。Picohttpparser 是直接调用现代 CPU 集成的 SSE4.2 拓展文本处理指令去迅速匹配 HTTP 符号的鸿沟(那些 10 年前的老 x86_64 CPU 都有这玩意儿)。I/O 用到了超棒的 uvloop，它是一个 libuv 的封装，在最底层，它是调用 epoll 来供给异步读写告诉。
想要一起学习python的可以加群301056069，群里有大量学习资料，还有大神解答问题
Picohttpparser 依赖 SSE4.2 和 CMPESTRI x86_64 的特性做解析
Python 是有垃圾收集功能的语言，为避免不必要的增加垃圾收集器的压力，在设计高性能系统时一定要多加注意。Japronto 的内部被设计的尝试避免循环引用和尽可能少的分配、释放内存，它会预先申请一块区域来存放对象各种，同时尝试在后续请求中重用那些没有被继续引用的 Python 的对象，而不是将那些对象直接扔掉。
这些预先申请的内存的大小被固定为 4KB 的倍数。内部结构会非常小心和频繁的使用这些连续的内存区域，以减少缓存失效的可能性。
Japronto 会尽可能避免不必要的缓存间复制，只在正确的位置执行操作。比如，在处理路由时，先做 URL 解码再进行路由匹配。
想要一起学习python的可以加群301056069，群里有大量学习资料，还有大神解答问题
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
