性能
文章平均质量分 81
threegirl
这个作者很懒,什么都没留下…
展开
-
[总结]python逐行性能分析
总是忘记,做个记录。性能定义一般而言,处理一个请求的速度是一个重要的性能指标(Latency, 系统延迟)。观察工具有时候不需要特殊工具,直接看一个http请求的时长即可。定位瓶颈line_profiler是一个可以查看每行代码的执行次数、执行时间的工具。安装好后,可以在代码中对方法/函数添加装饰器@profile,然后在命令行使用kernprof -l -...原创 2018-08-02 17:35:17 · 631 阅读 · 0 评论 -
最近处理的性能优化总结思考
按照常理,性能优化应该是属于比较高级,处于项目中后期的工作了,但是如果实现不给力,在项目初期就可以遇到了。很多人都嫌弃Python慢,个人认为他们之中90%都没有资格这么说,一方面,需要高性能的地方并不是每个项目都需要,另一方面,他们自己写的代码烂的要死,才是罪魁祸首。Python的代码可读性非常好,利于开发和维护,是对开发者友好的语言。但如果代码写成一团糟,没有扬长避短,导致维护困难,开...原创 2017-06-11 18:11:00 · 235 阅读 · 0 评论 -
对文本使用tf_idf算法进行分析的项目记录(二)
上回写的是使用消息队列来做这个项目,这次完全抛弃了它。为什么抛弃呢?我当初设想的是,步骤很明确,完全可以独立开,这样消息队列正好适配。 但是,我对处理速度和吞吐量没有明确的概念,导致如果用之前的方案的话,屈屈30w文章就能跑上好几天。为什么会这么慢呢?原因一,处理的个体太小。按照我的设想每个文档每个步骤都会往队列里塞一个消息,结果导致处理的数据量巨大无比。如果能够...原创 2018-09-08 22:00:01 · 364 阅读 · 0 评论