- 博客(2)
- 收藏
- 关注
RSS订阅原创 snow flake
snow flake分布式系统需要有一个方法去分配一个唯一的ID。如mysql 分表之后，如果各个表使用的都是自增ID 那么不同表之间的ID 就会重复，对于其他业务可能会认为是同一条数据，或者造成别的问题。所以需要一个分配ID的方法。通常有两种方式mysql使用mysql 最为关节节点，每次分配数百个ID到内存，然后应用再在内存中取值。这种方式较为复杂，并且依赖于分配器所在的DB，如...
2019-05-29 12:20:30
505
原创 csv excel 对比
对比csv excel 处理目前项目需要上传非常大的excel文件。几百兆到几个G之间。上传的问题还没有解决。但是load到内存也是个问题。excel 一般使用xlrd 包做解析，第一个操作肯定是open_workbook。但是在open_workbook的时候会把整个文件load 到内存，如果多个文件同时在做处理可能会内存溢出，所以存在很大风险。技术上对比csv. 看看两者个差异。准备工...
2019-05-17 13:28:31
3018
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人