![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
优化数据处理速度
上世纪的诺言
这个作者很懒,什么都没留下…
展开
-
Boolean Series key will be reindexed to match DataFrame index
UserWarning 用户警告当我下面这条语句是,会出现一个警告df=df[df.MODEL_ID201][df.ENABLE1]又或者意思为:布尔型系列键将索引匹配获得对应的索引我没每一个判断之后,都会返回一个True和False 的索引列表(矩阵),通过对数据索引位置的布尔判断来筛选条件。如果一条语句出现两个判断条件,会存在语义不明的情况。起初这样写是想避免每次选取数据都要 ...原创 2019-04-08 13:42:56 · 17417 阅读 · 4 评论 -
python一次性封装多条sql语句(begin end)
python封装利用begin end执行多条sql因为业务需求,优化模型运行时间。考虑到sql语句每一次执行都要建立连接,查询,获取数据耗时过多。就想到将sql一起提交上去运行,能够节省很多时间。原本1.6-2.5秒耗时的sql语句经过修改后时间降到0.3-0.6秒,感觉性能提升挺好的。当然还有一种想法,如果有python框架的orm可能会更快,相比来说耗时基本看不到了吧,这只是我的猜想,仅...原创 2019-05-08 11:32:54 · 5277 阅读 · 3 评论 -
python、pandas内存优化
Python的使用使我们的工作更加简单,但是他有一些功能封装确实不够严谨。因为他的灵活和简便使我们很多时候都忘记了它的缺点。在web后端设计中,try是很有必要的。你永远不知道用户给你传过来的是什么数据,如果你能够相信他给你传过来的数据,不是家里有矿就是太过年轻了。 今天说的是Python的垃圾回收机制,这里面做内置做的确实不好。基本上的使用只要配合gc包就能够弥补这个缺点。当使用一个Data...原创 2019-05-15 15:30:11 · 1149 阅读 · 0 评论