- 博客(17)
- 收藏
- 关注
RSS订阅原创 服务器安装jupyter
远程服务器ubuntu安装Jupyter Lab详细教程-阿里云开发者社区 (aliyun.com)(99+ 封私信 / 83 条消息) jupyter安装 - 收藏夹 - 知乎 (zhihu.com)
2024-06-10 09:23:28
127
原创 Ubuntu修改conda安装环境的路径
2、修改condarc文件（更改安装源等信息也是在这个文件中修改），添加需要安装的路径，或者通过conda config --add envs_dirs /home/user/anaconda3/envs添加路径。如果添加的路径是需要root权限，会报错：no writeable pkgs directories configured，此时需要更改文件夹的权限。2、sudo chmod -R 777 /data/anaconda3 给/data/anaconda3赋予读写执行的权限，具体参考下方连接。
2024-06-07 15:43:31
764
原创 深度学习的梯度更新以及参数更新
optimizer.zero_grad()，每个step计算完，梯度进行清零。否则，pytorch默认是每个tensor的梯度grad是进行累加的。但是，如果使用gradient accumulation进行梯度累加，就是再设定的累加的steps后，才进行一次参数更新和清零。optimizer.step()，根据计算得到的梯度，更新模型的参数。loss.backward()，计算每个tensor的梯度。
2023-10-25 19:52:33
331
1
原创 模型显存占用分配
与输入的batch、序列长度、模型层数 相关。而且这一部分占用的内存更大，比上面的3个部分还大。13B的llama参数，中间变量占45GB的空间。优化器（fp32）：fp32占4个byte，是参数量的4倍。4*13GB，但是优化器除了存储权重w还存储其他值，比如adamw还额外存储了动力和方差，所以adamw占用 3 * （4*13B）所以，针对占用的内存，有不同的优化方法。模型参数（fp16）: fp16占2个byte，是参数量的2倍。参数梯度（fp16）：fp16占2个byte，是参数量的2倍。
2023-10-25 17:13:52
433
1
原创 图像旋转及坐标变换
对box坐标进行左上角开始的顺时针排序根据多个文本框的中心线统计整张图像的角度根据图片的角度旋转图像，并对box的坐标也做相对应的旋转。
2023-08-21 10:40:25
257
1
原创 基于tablemaster的表格检测与表格重构。
3、进一步工作：将表格检测算法先做文档上面的表格检测，然后利用ocr得到结果。目前是基于mmocr，可以将table structure 单独分离出来，与自己的ocr识别结果相结合。先安装requirments.txt，然后安装readme中的安装mmdetection,mmocr,mmcv。运行tablerecognition中的demo.py文件，修改里面下载的权重路径和输入的图片路径。2、测试结果表明，表格的行和列确实能被很好的识别出来，并重建。4、严格按照要求的环境配置。
2023-04-01 20:47:39
589
原创 模型衡量标准recall precision accuracy f1score（hmean）
模型衡量标准recall precision accuracy f1score（hmean）
2022-08-14 00:14:16
4975
转载 windows下使用python + opencv读取含有中文路径的图片 和 把图片数据保存到含有中文的路径下
windows下使用python + opencv读取含有中文路径的图片 和 把图片数据保存到含有中文的路径下
2022-08-12 20:18:01
947
原创 from torch._C import *ImportError: DLL load failed while importing _C: 找不到指定的模块。
解决from torch._C import *ImportError: DLL load failed while importing _C: 找不到指定的模块。
2022-08-12 10:29:57
2411
原创 更换backbone心得
1 、对于目标检测，backbone相当于连接中间环节，连接着图片输入和后面的检测头，所以在更换网络时候只要注意输入backbone的数据形式以及后面一个环节要求输入的形式，把backbone的输出改为后一环节的输入形式即可。骨干网络的内部细节可以直接复制官方源代码，只修改输出形式。2、如果需要加FPN，则可以在官网的分类网络中测试网络结构，确定哪些层需要保留，然后在目标检测的算法中保留相应的层即可。...
2022-07-27 08:01:23
1571
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人