- 博客(4)
- 收藏
- 关注
RSS订阅原创 测试python对于不同数据文件类型的读取速度
之前训练网络的data augmentation这一步我都是用matlab做的，每个patch以tiff的形式存为一张一张小图，每次训练的时候再依次去读取。昨天偶然在知乎上看到一个回答说tif的读取速度很慢，于是决定测试一下各种文件格式的读取速度。我自己经常用的数据存储格式是.tif、.npy和.mat，所以主要测试这三种格式，测试从占用硬盘空间和读取速度两个维度来考虑。占用硬盘空间方面，.npy和.tif都是无压缩格式，而MATLAB种保存的.mat文件是经过压缩的，体积约为无压缩状态下的1/2。读
2021-03-20 16:20:40
1668
原创 安装cvxpy遇到的问题及解决方法
最近做paper要用到凸优化，之前在matlab上用过cvx包，觉得速度还行，这次需要再python上运行，所以需要安装cvxpy。我一般用pycharm码代码，所以直接在pycharm里面安装cvxpy包（其实pycharm就是用pip命令安装），但是报错，具体报错信息我忘记截图了，但是提示说需要更新setuptools，于是我把setuptools更新到最新版本，再次安装cvxpy，又报错，...
2020-04-17 20:40:12
2684
原创 修复Linux异常自动重启问题
这几天训网络最困扰我的问题就是服务器总是莫名其妙自动重启，一旦重启，训练的各种网络就都中断了，之后又得一个一个断点续训练，很费劲两天之内重启了3次之后我实在忍不了了，决定查一下问题的根源cd /var/loggedit syslog或者直接dmesg打开系统日志之后发现每次重启之前都会出现很多EXT4-fs error (device sda1): ext4_lookup:15...
2020-02-18 22:57:08
4081
原创 修复由于Input/Output error导致的硬盘无法挂载的错误
Ubuntu16.04系统的一个硬盘出现structure needs clearning的问题，所以打算备份其中重要文件然后尝试修复，但在备份文件的时候还是由于这个硬盘文件系统bug导致备份异常中断，导致用于备份的硬盘出现Input/Output error而无法mount，问题如上如所示。最终用以下方法解决：sudo apt-get install ntfs-3gsudo ntfsfix...
2020-02-18 16:45:34
4827
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人