介绍
使用python做web开发面临的一个最大的问题就是性能,在解决C10K问题上显的有点吃力。有些异步框架Tornado、Twisted、Gevent 等就是为了解决性能问题。这些框架在性能上有些提升,但是也出现了各种古怪的问题难以解决。
在python3.6中,官方的异步协程库asyncio正式成为标准。在保留便捷性的同时对性能有了很大的提升,已经出现许多的异步框架使用asyncio。
使用较早的异步框架是aiohttp,它提供了server端和client端,对asyncio做了很好的封装。但是开发方式和最流行的微框架flask不同,flask开发简单,轻量,高效。正是结合这些优点, 以Sanic为基础,集成多个流行的库来搭建微服务。 Sanic框架是和Flask相似的异步协程框架,简单轻量,并且性能很高。本项目就是以Sanic为基础搭建的python微服务框架。(思想适用于其他语言)
微服务设计原则个人总结:
X 轴 :指的是水平复制,很好理解,就是讲单体系统多运行几个实例,做个集群加负载均衡的模式。
Z 轴 :是基于类似的数据分区,比如一个互联网打车应用突然或了,用户量激增,集群模式撑不住了,那就按照用户请求的地区进行数据分区,北京、上海、四川等多建几个集群。简单理解数据库拆分,比如分库分表
Y 轴 :就是我们所说的微服务的拆分模式,就是基于不同的业务拆分。
微服务总体架构:
特点
使用sanic异步框架,简单,轻量,高效。
使用uvloop为核心引擎,使sanic在很多情况下单机并发甚至不亚于Golang。
使用asyncpg为数据库驱动,进行数据库连接,执行sql语句执行。
使用aiohttp为Client,对其他微服务进行访问。
使用peewee为ORM,但是只是用来做模型设计和migration。
使用opentracing为分布式追踪系统。
使用unittest做单元测试,并且使用mock来避免访问其他微服务。
使用swagger做API标准,能自动生成API文档。
服务端
使用sanic异步框架,有较高的性能,但是使用不当会造成blocking, 对于有IO请求的都要选用异步库。添加库要慎重。
sanic使用uvloop异步驱动,uvloop基于libuv使用Cython编写,性能比nodejs还要高。
功能说明:
启动前
@app.listener('before_server_start')
async def before_srver_start(app, loop):
queue = asyncio.Queue()
app.queue = queue
loop.create_task(consume(queue, app.config.ZIPKIN_SERVER))
reporter = AioReporter(queue=queue)
tracer = BasicTracer(recorder=reporter)
tracer.register_required_propagators()
opentracing.tracer = tracer
app.db = await ConnectionPool(loop=loop).init(DB_CONFIG)
创建DB连接池
创建Client连接
创建queue, 消耗span,用于日志追踪
创建opentracing.tracer进行日志追踪
中间件
@app.middleware('request')
async defcros(request):
if request.method == 'POST' or request.method == 'PUT':
request['data'] = request.json
span &