- 博客(13)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 记录一次内存泄漏的修复过程
1、现象通过Flask API请求调用一个实例的方法，加载pysparnn的索引，每次调用都增加800M，怀疑内存泄漏。2 、工具：memory_profiler, pymplermomery_profiler 使用：这样每次调用的话，可以知道每一行代码调用是否增加了内存。from memory_profiler import profile@profiled...
2020-04-28 18:37:17
1403
原创 怎么增加第三方库的方法，实现自己的需要呢，比如修复内存泄漏。
思路通过动态增加类的方法去实现自己的功能。首先：动态增加类方法。class MyObj(object): def __init__(self, val): self.val = valdef new_method(self, value): return self.val + valueobj = MyObj(3)obj.method = new...
2020-04-28 18:22:36
132
原创 numpy. ndarray 与 list 互转方法
ndarray.tolist()转换为 listarray(list)转换为ndarraya = ['qa_id:1', 'qa_id:2',3,4,5]import numpy as npres = np.array(a)type(res)type(res.tolist()),res.tolist()[i for i in res.tolist() if 'qa_id:' in...
2020-04-21 18:23:30
2863
原创 数据库中有josn格式的数据。
表iduidinfo11001{"name":"周年庆","status":0,"addtime":"2017-10-10"}21002[{"name":"周年庆","status":0,"addtime":"2017-10-11"},{"name":"特价促销"...
2020-04-20 18:35:02
192
原创 小技巧 kreas pad_sequences 和 pandas 重命名某列
pad_sequences,对上面生成的不定长序列进行补全。可以手动设定每个句子的最大长度参数，大于这个长度截断，小于这个长度填充。注意：默认补全和截断都是在句子前面进行填充和截断。这里是用0进行填充，也就是空格，这也是为什么上面序列index起始是1的原因。pandas 重命名某列df1.rename(columns={'c':'D'},inplace=True)对于官方的解释...
2020-04-17 18:32:10
195
原创 把一个变量字符串化，用来保存该对象的名字
思路： 1.字典化 2.提取key名list(dict(tokenizer=tokenizer).keys())[0]思路2：但是如果是形参就不一样了import inspectdef retrieve_name(var): """ Gets the name of var. Does it from the out most frame ...
2020-04-15 16:40:36
394
原创 pickle.load文件时候EOFError: Ran out of input
原因：load的文件为空，就会出现这种错误。解决方案：1.如果是读取单个文件的话，查看文件是否为空。有可能之前不是空文件，但由于用pickle.load文件时需要打开文件操作，可能在这个过程中把文件内容清空了也未可知。import pickleimport osfile_name = 'tokenizer.pkl'if os.path.getsize(file_name):...
2020-04-15 10:42:16
3182
3
原创 linux cp命令小注意点
如果dir2目录不存在，则可以直接使用cp -r dir1 dir2即可。如果dir2目录已存在，则需要使用cp -r dir1/. dir2如果这时使用cp -r dir1 dir2,则也会将dir1目录复制到dir2中，明显不符合要求。...
2020-04-14 18:12:37
214
原创 keras 默认是使用GPU
keras训练的模型默认是使用GPU的如果需要使用CPU训练，那么代码如下import osos.environ["CUDA_VISIBLE_DEVICES"] = "-1"
2020-04-14 18:11:36
1315
原创 python 不以科学计数法输出
当显示出现e-10等显示，比较容易看乱取消科学计数法import numpy as npnp.set_printoptions(suppress=True)print 就不会用科学计数法表示了
2020-04-10 18:20:46
10768
6
原创 重复数字的排序
问题 例如 a = [1,7,7,4,4,5,6]经过排序后是a=[1,7,4,5,6,7,4]也就是说重复的元素在队列后面插入，不改变原理的顺序。最直观的思路就是用一个列表记录元素，如果有重复用另一个列表保存。def get_reset_index(arr): no_repeat_list = [] index_list_1 = [] index_list_...
2020-04-07 18:33:10
1065
原创 DataFrame如何按指定list排序
https://www.jianshu.com/p/2d3dd3e30d51最重要是 一个类型为个问题解决的核心是引入pandas的数据类型“category”，这个数据类型可以按照自己需要排序。
2020-04-03 18:35:22
1269
原创 常见的读写文件错误，判断文件是否存在(python)
常见的读写文件错误，判断文件是否存在(python)python判断文件是否存在的三种方法1.使用os模块os.path.isfile 方法 和os.path.exits方法2.使用Try语句try catch语句来报错3. 使用pathlib模块检查路径是否存在 如下path = pathlib.Path("path/file")path.exist(...
2020-04-03 11:29:43
823
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人