![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 64
lingling-fa
这个作者很懒,什么都没留下…
展开
-
从数据库读取大量数据的方式对比
数据库读取百万或千万等大量数据时的方式比较,包括直接读取、分页读取以及游标的方式读取。原创 2022-08-30 17:27:08 · 1054 阅读 · 1 评论 -
python的多线程和yield
拉取、入库的优化点:请求接口:场景:原来一次请求一个月的数据,可能会面临接口卡顿的问题,而且数据量过大,有时候会溢出解决:可以考虑由一次请求 切分为 小而多次请求加个for循环,分为小批量去请求,避免接口数据量过大将多次请求采用多线程进行,避免单线程I/O阻塞( 可以异步操作,可以先发送请求而不等待结果返回) with futures.ThreadPoolExecutor() as executor: # 可传入线程数 # 传入执行的方原创 2021-07-23 20:43:43 · 1212 阅读 · 0 评论 -
关于涉及到区间类型数值的缓存
关于涉及到区间类型数值的缓存场景是这样的:目前数据库里有每年公司节假日的日期信息(按天存储),现在需要计算一段时间内有多少天是节假日比如:2021.1.1 ~ 2021.6.23 内,有多少天是公司规定的节假日方案一:直接按天缓存,key为日期,value为该日期是否为节假日,这样我们按所求时间,遍历一遍缓存,判断key 对应的value,即可获得范围内节假日天数注意:需要缓存范围内所有的日期,不能只缓存节假日 (假如只缓存节假日,如果在缓存里查找不到,不能判断该key是过期了还是说非节原创 2021-06-23 20:00:20 · 335 阅读 · 0 评论