- 博客(2)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 【Database】兼容 Python2 / Python3 适配编码的文件型数据容器
0x00 前言 训练内存轻量化 最近又在训练模型（炼丹），以前老抱怨，区区2万 samples 也好意思叫大数据，近期的任务似乎听到了我这个抱怨，纷纷都是什么“1700万个句子”，“4000个文档”的数据，对服务器内存一次次的进行着冲击。 虽说我之前已经写过一个CIR（CorpusIterationReader）类实现的文章用来解决类似问题（哎？我那篇文章哪去了，被吃了么……emmmm，以后再重发一次吧。）但是那个类也只能让 pivot 以 “文件指针+instance指针” 的方式进行顺序存取，不是很好处
2020-07-21 16:20:04
430
原创 【Tensorflow】用于处理checkpoint中参数名称与矩阵数值的工具类
0x00 前言 目前对于Tensorflow的模型参数文件，我们处理起来没有Pytorch的参数文件那样方便， 并且现在任务中有个需求，要在“某几个参数矩阵中，将特定行的参数复制到某些其他行”。 Pytorch的话就还好，因为毕竟是一群tensor被一个OrderDict包装起来的Python基本数据结构。 同样的事情，在Tensorflow中处理起来会比较麻烦，于是考虑实现这个工具类 CheckpointMonitor 来提高处理效率。 0x01 效果及API 支持从Tensorflow的模型参数文件c
2020-07-04 17:24:12
768
2
【PSP录制工具】RemoteJoy_Lite_019_CHT
2018-03-25
From Online Behaviors to Offline Retailing
2016-07-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人