- 博客(24)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 pytorch训练过程中GPU利用率低
问题在训练人脸数据集MS1M时，采用pytorch的ImageFolder对原始的图像进行的读取。由于人脸数据小，且量大，导致GPU很快训练完成，但是IO却很慢，从而拖垮了整个训练时间。解决方法以上问题的根本原因在于pytorch没有自己的数据格式，像TF的TFrecorde，mx的rec文件以及caffe使用lmdb，都有自己的格式。因此，我们可以采用其他框架的格式做数据读取，pytorch来做训练。其中由于我自己一直不喜欢用tf的TFrecorde（早期学tf时也不喜欢），mx的与torch很
2020-07-05 16:50:06
4784
原创 领扣（LeetCode）算法题题解
主要记录自己在做leetcode算法题目时的思路动态规划leetcode 53. 最大子序和leetcode 121. 买卖股票的最佳时机数组树排序
2019-10-09 21:01:59
547
原创 ubuntu18.04安装和设置深度终端
在右键设置在文件中启动深度终端http://qianghaopeng.gitee.io/blog/2019/08/24/ubuntu18-04%E5%AE%89%E8%A3%85%E5%92%8C%E8%AE%BE%E7%BD%AE%E6%B7%B1%E5%BA%A6%E7%BB%88%E7%AB%AF/#more
2019-08-24 10:55:31
3119
原创 Ubuntu18.04，RTX2070，cuda10.0， tensorflow-gpu， pytorch-gpu
之前一直采用独立安装cuda和cudnn来配置tensorflow-gpu版本，尽管Ubuntu18.04不需要再降低gcc版本来配置cuda，但是还是比较麻烦。简单的办法就是采用conda进行配置，尤其是对于Ubuntu不熟悉的人。首先查看conda中支持的tensorflow的版本conda search tensorflow-gpu返还conda目前支持的tensorflow-g...
2019-08-12 19:36:35
1429
原创 Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR
UnknownError: Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking to see if a warning log message was printed above.这两天安装tensorflow的gpu版本遇到的问题。首先说...
2019-08-12 19:30:13
1200
2
原创 Ubuntu18.04 安装zotero文献管理工具
根据官网，zotero只提供文件包，要想有快捷方式，需要自己设置。解压文件cd到文件夹中，执行.\set_launcher_icon，生成快捷方式。把快捷方式软连接到应用程序目录。sudo ln -s /home/user/Public/Zotero_linux/zotero.desktop ~/.local/share/applications/zotero.desktop第一个...
2019-08-11 14:59:07
4590
1
原创 Ubuntu中的pycharm不能调用tensorflow-gpu
在Ubuntu18.04中使用tensorflow的GPU版本。pycharm不能调用tensorflow模块。主要原因在于找不到cuda位置。因为我们在安装cuda和cudnn的时候，把cuda和cudnn的路径信息添加到了～\.bashrc中，这是bash的环境设置，所以我们在bash中是可以使用tensorflow的。但是若使用pycharm的快捷方式运行的话，就不能继承bash中的cuda...
2019-08-11 14:02:23
2289
6
原创 解决pip下载慢的问题
安装pytorch时，由于我自己在Ubuntu中安装的cuda，而且也习惯使用pip安装库。遇到pip下载速度太慢。解决方法：临时给pip更换源命令格式：sudo pip install 包名 -i 镜像源url例如：pip install torch torchvision -i https://pypi.douban.com/simple/...
2019-08-11 10:34:51
355
原创 Ubuntu18.04系统配置的一些软件(RTX2070)
一些想将自己的台式机安装Ubuntu系统来使用，因此有了这篇文章来记录一些从win迁移到Linux的软件的安装。配置说明以及系统版本电脑配置是2070，来训练模型。cuda安装不做记录安装18.04版本，插着显卡安装完系统必不能开机，应该是系统识别不了RTX20系显卡。所以先安装了19.04，进行系统的熟悉和一些软件安装的摸索。等闲下来拆下显卡来安装18.04，毕竟是个长久支持的版本。...
2019-07-27 18:37:04
908
原创 ubuntu18.04配置uget以及更改火狐的下载方式
目前在从win10系统向ubuntu系统转换。记录一些ubuntu上的软件。ubuntu下载工具可以选择deepin移植的迅雷版本，也可以采用uget。我选择了使用uget。下面是ubuntu18.04配置uget以及aria2.第一步：安装ugetsudo apt install uget第二步：安装aria2sudo apt install arias第三步：配置ug...
2019-07-17 14:03:47
2220
原创 sublime text3 配置anaconda3的记录
我主要写python代码，用的pycharm和vscode。虽然pycharm功能很强大，但是很消耗资源，vscode用过很长一段时间，但是觉得用的不舒服。因此使用sublime text3来做轻量级的python代码编写，用pycharm做大的程序和debug（pycharm的debug功能真的好用）。环境介绍sublime text3Anaconda3（python3.6）因为该pyt...
2019-04-07 11:44:18
4871
原创 使用Pycharm编写Python程序的BUG总结
debug的时候遇到的问题提示：Connection to Python debugger failed Socket closed原因：给.py文件起的名字和python自带的模块重名解决办法：修改项目中的重名模块即可。...
2019-03-06 10:56:02
580
原创 修改Anaconda的jupyter notebook的默认工作路径
修改anaconda的Jupyter Notebook的默认工作路径因为C盘的空间比较小，而anaconda的Jupyter Notebook的默认工作路径在C盘，所以更改工作路径。方法：创建JupyterNotebook的桌面快捷方式右键查看快捷方式的属性将 目标 中的选中的字段更改为自己需要的路径例如：就可以创建工作路径在E盘的JupyterNotebook。注意这...
2019-01-17 14:29:06
619
原创 with （python）
有一些任务，可能事先需要设置，事后做清理工作。对于这种场景，Python的with语句提供了一种非常方便的处理方式。一个很好的例子是文件处理，你需要获取一个文件句柄，从文件中读取数据，然后关闭文件句柄。如果不用with语句，代码如下：file = open("/tmp/foo.txt")data = file.read()file.close()这里有两个问题。一是可能忘记关闭...
2018-11-07 16:16:08
151
转载 三维（RGB）图像做卷积
图像维度6*6*3，卷积核的维度3*3*3（其中第三个参数是通道数，二者必须一致）进行卷积计算的时候，图像与卷积核对应的通道做卷积运算，在将每个通道计算的结果（3个结果）相加，从而得到该区域像素的卷积值。最终得到一个4*4*1的矩阵。...
2018-07-24 10:49:12
4585
2
转载 python中 _，的问题
在python中，所有标识符可以包括英文、数字以及下划线（_），但不能以数字开头。python中的标识符是区分大小写的。----这是知识背景------但是通常python的变成习惯以下划线开头的标识符是有特殊意义的。以单下划线开头（_foo）的代表不能直接访问的类属性，需通过类提供的接口进行访问，不能用“from xxx import *”而导入；以双下划线开头的（__foo）代表类的私有成...
2018-07-23 16:49:20
328
原创 利用镜像安装tensorflow
执行命令：CPU版本pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflowGPU 版本pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu
2018-07-20 11:22:18
19633
2
原创 win10安装tensorflow1.8
CUDA版本9.0，最新的tensorflow1.8官方标注支持cuda9.0，并未声明支持更高版本的cuda，因此使用cuda9.0以及与之匹配的cudnn7.0使用原味的python（采用pip3安装）仅支持CPU版本（不需要安装cuda以及cudnn）pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade tens...
2018-06-27 21:29:14
4503
原创 python3+OpenCV批处理图片
python版本是3.6OpenCV是3.4.1OpenCV在读取图片方面使用很方便，主要会用到imread()、imwrite()、imdecode()、imencode()代码如下import cv2import osdef Image_Resize(dir): #输入起始路径 for parent,dirnames,filenames in os.walk(dir): ...
2018-06-27 21:03:20
3709
原创 caffe使用中的错误总结
1、Check failed: ReadProtoFromTextFile(param_file, param) Failed to parse SolverParameter file: examples/mnist/lenet_solver.prototxt这是因为在lenet_solver.prototxt文件中路径使用了"\"符号，由于直接复制Windows的路径，但是在caffe中，由于...
2018-04-11 19:53:20
1514
原创 在win10中安装caffe并配置MATLAB和Python接口（支持GPU加速）
笔记本电脑配置（14年的老机器）CPU i54200 显卡：GTX850m1、软件准备：vs2013cuda8.0（官网下载，查看显卡是否支持cuda），cudnn v5.0（支持cuda8.0）Python使用的是anaconda2（Python2.7）（anaconda3在编译caffe出错）caffe（使用的微软的版本，不用自己下载第三方库）2、（1）首先安装cuda8.0，一路点Next即...
2018-04-10 17:27:59
4373
转载 设置安装在VMware或vxbox下的Ubuntu与主机的共享文件
版本介绍：Ubuntu16.0.4 主机：win10自己做毕业设计要用到Linux系统，写下该篇日记第一种：在VMware中安装的Ubuntu与主机共享文件1、开启虚拟机中的Ubuntu系统；2、选择虚拟机—>安装Vmware Tools3、系统自动加载一个ISO文件4、在ISO文件复制一个压缩包，VMwareTools-10.0.10-4301679.tar.gz其中数字是版本号，...
2018-03-17 22:28:49
1750
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人