python中tracer_python微服务方案

介绍

使用python做web开发面临的一个最大的问题就是性能，在解决C10K问题上显的有点吃力。有些异步框架Tornado、Twisted、Gevent 等就是为了解决性能问题。这些框架在性能上有些提升，但是也出现了各种古怪的问题难以解决。

在python3.6中，官方的异步协程库asyncio正式成为标准。在保留便捷性的同时对性能有了很大的提升,已经出现许多的异步框架使用asyncio。

使用较早的异步框架是aiohttp，它提供了server端和client端，对asyncio做了很好的封装。但是开发方式和最流行的微框架flask不同，flask开发简单，轻量，高效。正是结合这些优点, 以Sanic为基础，集成多个流行的库来搭建微服务。 Sanic框架是和Flask相似的异步协程框架，简单轻量，并且性能很高。本项目就是以Sanic为基础搭建的python微服务框架。(思想适用于其他语言)

微服务设计原则个人总结:

X 轴 ：指的是水平复制，很好理解，就是讲单体系统多运行几个实例，做个集群加负载均衡的模式。

Z 轴 ：是基于类似的数据分区，比如一个互联网打车应用突然或了，用户量激增，集群模式撑不住了，那就按照用户请求的地区进行数据分区，北京、上海、四川等多建几个集群。简单理解数据库拆分,比如分库分表

Y 轴 ：就是我们所说的微服务的拆分模式，就是基于不同的业务拆分。

微服务总体架构:

特点

• 使用sanic异步框架，简单，轻量，高效。
• 使用uvloop为核心引擎，使sanic在很多情况下单机并发甚至不亚于Golang。
• 使用asyncpg为数据库驱动，进行数据库连接，执行sql语句执行。
• 使用aiohttp为Client，对其他微服务进行访问。
• 使用peewee为ORM，但是只是用来做模型设计和migration。
• 使用opentracing为分布式追踪系统。
• 使用unittest做单元测试，并且使用mock来避免访问其他微服务。
• 使用swagger做API标准，能自动生成API文档。

服务端

使用sanic异步框架，有较高的性能，但是使用不当会造成blocking, 对于有IO请求的都要选用异步库。 添加库要慎重。sanic使用uvloop异步驱动，uvloop基于libuv使用Cython编写，性能比nodejs还要高。

功能说明：

启动前

2. @app.listener('before_server_start')
3. async def before_srver_start(app, loop):
4. queue = asyncio.Queue()
5. app.queue = queue
6. loop.create_task(consume(queue, app.config.ZIPKIN_SERVER))
7. reporter = AioReporter(queue=queue)
8. tracer = BasicTracer(recorder=reporter)
9. tracer.register_required_propagators()
10. opentracing.tracer = tracer

app.db = await ConnectionPool(loop=loop).init(DB_CONFIG)

• 创建DB连接池
• 创建Client连接
• 创建queue, 消耗span，用于日志追踪
• 创建opentracing.tracer进行日志追踪

中间件

2. @app.middleware('request')
3. async def cros(request):
4. if request.method == 'POST' or request.method == 'PUT':
5. request['data'] = request.json
6. span = before_request(request)
7. request['span'] = span
10. @app.middleware('response')
11. async def cors_res(request, response):
12. span = request['span'] if 'span' in request else None
13. if response is None:
14. return response
15. result = {'code': 0}
16. if not isinstance(response, HTTPResponse):
17. if isinstance(response, tuple) and len(response) == 2:
18. result.update({
19. 'data': response[0],
20. 'pagination': response[1]
21. })
22. else:
23. result.update({'data': response})
24. response = json(result)
25. if span:
26. span.set_tag('http.status_code', "200")
27. if span:
28. span.set_tag('component', request.app.name)
29. span.finish()
30. return response

• 创建span, 用于日志追踪
• 对response进行封装，统一格式

异常处理

对抛出的异常进行处理，返回统一格式

任务

创建task消费queue中对span，用于日志追踪

异步处理

由于使用的是异步框架，可以将一些IO请求并行处理

Example:

2. async def async_request(datas):
3. # async handler request
4. results = await asyncio.gather(*[data[2] for data in datas])
5. for index, obj in enumerate(results):
6. data = datas[index]
7. data[0][data[1]] = results[index]
9. @user_bp.get('/')
10. @doc.summary("get user info")
11. @doc.description("get user info by id")
12. @doc.produces(Users)
13. async def get_users_list(request, id):
14. async with request.app.db.acquire(request) as cur:
15. record = await cur.fetch(
16. """ SELECT * FROM users WHERE id = $1