- 博客(2)
- 收藏
- 关注
RSS订阅原创 大型文件安全读取到高效写入MongoDB——生成器、文件拆分、多进程
记录最近一个大文件数据处理入库任务，需求大致是这样：数据处理需求：需要定期拉取一个千万行级的大型文件，文件内容是按照指定分隔符进行分割的数据表内容.每行结束按照\n换行，类似下面这种格式：1;female;Micky;19746;2;male;Tom;749573;3;male;Bob;465926;...字段名分别为：id、gender、name、code分析思路在...
2020-02-07 11:05:08
903
2
原创 Parmiko模块读取SFTP文件为生成器返回到内存
项目背景之前项目中经常使用paramiko模块SFTP下载远端文件到本地，再读取本地文件进行相关操作后入库，最终再删除该本地文件。思考优化但是最近开始思考到，其实很多情况下是不需要保留SFTP下载到本地的文件的，只需一次性使用其中的数据而已。查看了一下paramiko模块的API，paramiko模块中下载数据的方法SFTPClient类有get和getfo两种。前者则是我常用的下载文...
2020-02-07 11:01:51
287
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人