算法
clierwang
所有原创文章注明出处即可转载。
博主的网站为learkc.com,欢迎访问。
展开
-
增量比较存储新思路以及核心代码
一、前言所谓增量比较,就是说在每天探测的情况下,新文件和之前的存储文件之间的区别比较,如果采用遍历存储比较的方法显然非常复杂,这里主要提供笔者学习学长以及讨论、个人考虑之后的一种思路。二、主要思路1、存储文件的存储形式在存储文件中,可能需要保存同一对象的很多状态,如果每次更新都采用全量存储,势必占用许多空间。经过学习和讨论,为了实现节省存储空间的目的,我们可以采取只存储变化数据的方式在文件...原创 2019-08-28 11:22:29 · 995 阅读 · 0 评论 -
(python)大量数据乱序思路以及核心代码
一、前言笔者曾做过一次项目,其中要求对几十亿条数据顺序乱序。做这个项目的时候,笔者切实的感到了大量数据和少量数据的不同。受到时间和空间条件的制约,我们无法将所有数据放到内存中的时候,或者说即便放进去速度也不符合要求的时候,就迫使我们想别的办法。二、思路1、少量数据乱序是由函数的,即“shuffle”,python中导入random模块之后,对列表list乱序的操作为:random.shuff...原创 2019-09-03 20:15:36 · 1093 阅读 · 0 评论