- 博客(67)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 没有root权限时的gcc本地编译安装
参考以下教程：https://blog.csdn.net/happyeveryday62/article/details/107673477https://www.cnblogs.com/snow-flakes/p/9887698.htmlhttps://hpzhao.github.io/2016/07/19/非root权限源码安装GCC/\
2021-01-16 02:26:40
443
原创 RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED 可能原因
可能原因：没有安装CUDNN pytorch和cuda版本不对应。具体来说，是pytorch编译时cuda的版本和环境cuda版本不一致。 内存不足，dataloder每次处理的数据过大 显存不足，OOM。有时候显存不足不会报OOM，会报cuDNN根据我的经验，如果在代码刚跑的时候就报cuDNN error，应该是前两种原因。如果是运行一段时间之后再报错，应该是第3,4个原因。https://blog.csdn.net/qq_44420246/article/details/108.
2021-01-16 02:21:58
5221
1
原创 关于conda的cuda和本机cuda的讨论
通过conda安装torch, cuda,cudnn的例子。需要注意的是，通过conda安装的cuda版本按理说要小于等于本机的cuda。conda install pytorch==0.4.1 cuda92 torchvision==0.2.1 cudatoolkit=9.2 cudnn=7.2.1 -c pytorch 一些关于conda的cuda和本机cuda的讨论：https://www.cnblogs.com/yhjoker/p/10972795.htmlhttps:/.
2021-01-16 02:13:17
2057
转载 Topic-Aware Storytelling from an Image Stream via Iterative Multi-agentCommunication
转载自：https://mp.weixin.qq.com/s/i3kLW1Lnm0-8lrhbmuJ34g
2020-10-28 15:47:41
199
转载 Leveraging Declarative Knowledge in Text and First-Order Logic for Fine-Grained Propaganda Detection
转载自：https://mp.weixin.qq.com/s/XYFTPNs-qCn8QlubCaY8og
2020-10-28 15:43:08
219
转载 香侬读 | 让预训练模型学习知识：使用多学习器增强知识建模能力
论文标题：K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters论文作者：Ruize Wang, Duyu Tang, Nan Duan, Zhongyu Wei, Xuanjing Huang, Jianshu ji, Cuihong Cao, Daxin Jiang, Ming Zhou论文链接：https://arxiv.org/abs/2002.01808近年来，预训练模型...
2020-06-26 14:31:45
426
转载 安装Apex报错： TypeError: Class advice impossible in Python3. Use the @Implementer class decorator instea
安装Apex报错：TypeError: Class advice impossible in Python3. Use the @Implementer class decorator instead.不能直接pip install apex卸载从新安装pip uninstall apexgit clone https://www.github.com/nvidia/apexcd apexpython setup.py install...
2020-06-25 01:54:05
2382
转载 代替wget的多线程下载利器——axel
axel 断点续传是你下载好帮手！再改用axel做下载之后确实优化了不少！下面来介绍一下axel使用！万一一个软件下载了一半，网断掉了，那么网恢复的时候，wget就会默认这个软件已经下载好了，因为在去下载一个文件之前，他会先生成一个.list文件，来做记录！如果直接去打开这个问题，那就是文件损坏。axel这个工具确实能解决上述的两个问题，一个是网络问题，另一个是断线续传！axel这个还是一个多进程下载工具！axel安装只要一条命令即可！在ubuntu下面直接输入：sudo apt-ge
2020-05-19 17:37:06
1821
原创 服务器上切换不同CUDA版本
方便在不同CUDA版本之间临时进行切换export CUDA_HOME=/home/rzwang/Downloads/cuda-10.1export PATH=$PATH:$CUDA_HOME/binexport LD_LIBRARY_PATH=/home/rzwang/Downloads/cuda-10.1/lib64...
2019-10-24 16:06:00
1268
1
原创 FFmpeg精确时间分割视频
前言使用FFmpeg分割视频非常方便， 但是我在使用的过程中发现，截取的视频时间并不精确。参考：https://zhuanlan.zhihu.com/p/27366331https://www.cnblogs.com/ilym/p/8003858.htmlhttps://blog.csdn.net/matrix_laboratory/article/details/531...
2019-10-23 14:24:21
6410
1
原创 linux将新硬盘挂载到/home下
目录(1) 查看新增的的磁盘(2) 分区格式化(3) 将新硬盘临时挂载在一个目录下（比如/mnt/home）(4) 同步（复制）原/home路径下的资料到新硬盘中(5) 重新挂载硬盘到/home下(6) 设置开机自动挂载在服务器的使用过程中，往往会随着使用时间增长，出现home空间不够的问题。比如一开始挂载了一块100g的硬盘。那么在买了新的大容量硬盘之后，应该怎么把新...
2019-09-20 23:10:41
11239
1
原创 获取指定文件夹下，所有大于指定时间的视频路径
更新刚发现ffmpeg居然也有人开发了python的包，所以也可以直接使用ffmpeg-python [https://github.com/kkroening/ffmpeg-python]，更方便一些。pip install ffmpeg-python------------有时候我们获取文件夹里面的所有视频的长度，或者挑选出大于某个长度的视频，这时候可以使用ffmepg，也可...
2019-09-20 00:36:38
295
原创 将list平均拆分为m块
有时候我们想要将一个包含很多文件路径的list分为几块，方便后续的多线程，或者分块处理等操作。注，以下为Python代码# 把arr分成m块def split_list(arr, m): n = int(math.ceil(len(arr) / float(m))) return [arr[i:i + n] for i in range(0, len(arr), n)]...
2019-09-20 00:30:10
424
原创 TFRecord的写入与读取
目录0、TFRecords是啥1、数据存入TFRecords流程2、读取TFRecords流程0、TFRecords是啥TFRecords是Tensorflow设计的一种内置文件格式，是一种二进制文件，它能更好的利用内存，更方便复制和移动。TFRecords是为了将二进制数据和标签(训练的目标类别标签)数据存储在同一个文件中。文件的保存格式：*.tfrecords写...
2019-09-19 23:55:52
447
原创 关于Pycharm连接远程服务器的几个问题
之前我写过一篇Pycharm如何配置远程服务器的教程《Pycharm专业版配置远程服务器并自动同步代码https://blog.csdn.net/wz22881916/article/details/82670969》。后来发现有同学会经常遇到几个问题，下面我来介绍一下：问题1：在Pycharm中直接run程序，但是import tensorflow时报错ImportError:...
2019-09-19 20:08:25
2794
原创 Tensorflow训练过程中出现OutOfRangeError 问题
在训练模型的时候遇到了以下问题：OutOfRangeError (see above for traceback): RandomShuffleQueue '_2_shuffle_batch_join/random_shuffle_queue' is closed and has insufficient elements (requested 10, current size 0) ...
2019-09-19 19:39:13
1812
1
原创 关于tfrecord写入和读取数据时前后维度不同的问题
samples = tf.train.batch(read_and_decode(filename_queue, pr, input_types), batch_size=32)在生成完TFRecords，然后在通过tf.train.batch()读取的时候遇到了以下问题：OutOfRangeError (see above for traceback): FIFOQueue '_1...
2019-09-19 19:19:43
573
转载 Linux 没有root权限下ffmpeg的安装方式
---更新刚发现ffmpeg居然也有人开发了python的包，所以也可以直接使用ffmpeg-python [https://github.com/kkroening/ffmpeg-python]，更方便一些。pip install ffmpeg-python-------由于在用服务器的时候，常常遇到包是在root权限下安装的，但是往往自己没有root权限。这时候可能怎么办呢？...
2019-09-08 09:44:20
1573
转载 Jupyter notebook选择conda环境
转载自：https://www.jianshu.com/p/5eed417e04ca服务器上配置有多个conda的Python环境，在使用jupyter notebook时需要使用其中的一个环境，但是其默认还是使用系统python环境，因此需要解决这个问题.解决方案其实很简答，参考这个帖子.首先，安装nb_conda_kernels包:conda install nb_conda_k...
2019-08-28 20:50:54
474
原创 Unable to determine the device handle for GPU 0000:83:00.0: GPU is lost.Reboot the system to recover
更新：发现是机房空调太差了，显卡温度过高的原因在跑程序的时候遇到了这个问题，还没有找到解决的方法：Unable to determine the device handle for GPU 0000:83:00.0: GPU is lost. Reboot the system to recover this GPU...
2019-03-27 10:31:54
7764
4
转载 关于贫僧在使用PyTorch时遇到了runtime error(59):device-side assert triggered at XXX这样神奇的BUG的事
某天贫僧在训♂练模型的时候遇到了这个错误提示。其实这个错误提示很模糊（非常模糊），基本上是没有办法定位到出错的地方的，在查找资料之后发现了一下解决方法（在这里总结下）：方法1. 改为在CPU上运行这是因为当模型在GPU上运行的时候其实是没办法显示出真正导致错误的地方的（按照PyTorch Dev的说法：“Because of the asynchronous nature of cud...
2019-03-18 03:02:22
656
转载 ImportError: libcublas.so.9.0: cannot open shared object file: No such file...问题原因及解决方法
原因1：cuda9.0以及cudnn7未能安装或正确安装。解决方案：安装cuda及对应cudnn，已安装情况下检查路径usr/local/cuda-9.0/lib64下是否有 libcublas.so.9.0文件原因2：tensorflow版本与cuda不对应。解决方案：升级tensorflow原因3：路径未加入环境解决方案：sudo gedit ~/.bashrc ...
2018-12-14 14:48:29
3930
1
原创 Python中使用matplotlib的报错问题
frommatplotlib.backends import_macosxRuntimeError: Python isnotinstalled asa framework. The Mac OS X backend will notbe able to function correctly ifPython isnotinstalled asa framework. See the Pyt...
2018-12-13 01:15:43
1538
原创 sourcetree POST git-receive-pack (chunked)解决方法
解决方法 如下 在 Finder 找到你的User 根目录下 的一个 文件 叫 .gitconfig （这个文件是隐藏的）然后双击点开它 然后在 最后面 加入 [http] postBuffer = 524288000 最后保存 原因： 因为仓库过大导致出现POST git-receive-pack (chunked) ，那么即使重新修改了配置文件，仍然要耐...
2018-11-08 00:45:34
1078
原创 Pycharm专业版配置远程服务器并自动同步代码
有服务器账号可以用啦，但是如果每次都在本机上面写代码，然后传到服务器上面，在服务器上面运行就太麻烦了。这样的方式十分繁琐，效率很低。使用场景先说说自己的使用场景，我是在什么情况下，需要将IDE配置成这样的环境来方便我的工作。首先，我需要在本地机子上跑深度学习的代码。虽然笔者已经有了一块外置显卡，但是由于要上课，这样的话上课的时候要带电脑，总不能到哪里都背着一个外置显卡是吧。因此需要将本...
2018-09-13 02:02:51
27157
10
原创 Mac下Pytorch-GPU 0.3源码编译安装
虽然pytorch官方有一个mac下的编译指南，但是还是不是很详细，一路过来我也遇到了许多问题。网上虽然有一些mac 下pytorch-gpu版，但是别人编译的有的时候和自己机器不是很兼容。所以需要自己来编译一下。因为我正好需要用gpu版的pytorch 0.3版，python 2.7，但是在网上找了半天都没找到，所以只能自己动手了。如果不需要gpu版的小伙伴安装pytorch那是非常...
2018-07-26 18:26:51
3336
2
转载 浅谈深度学习:如何计算模型以及中间变量的显存占用大小
本文转载自: https://oldpan.me/archives/how-to-calculate-gpu-memory前言亲，显存炸了，你的显卡快冒烟了！torch.FatalError: cuda runtime error (2) : out of memory at /opt/conda/conda-bld/pytorch_1524590031827/work/aten/...
2018-07-15 16:16:51
8339
5
原创 个人博客Coding Island
前段时间用wordpress搭建了一个新博客 http://www.codingisland.cn http://www.codingisland.xyz
2018-05-04 17:52:58
239
原创 Error: from torch._C import * ImportError: numpy.core.multiarray failed to import
在装完pytorch_gpu版之后遇到了一些问题，几个关于numpy的error如下：Error：module compiled against API version 0xc but this version of numpy is 0xbError: from torch._C import * ImportError: numpy.core.multiarray fail...
2018-04-13 00:41:41
1743
原创 keras可视化遇到import pydot和graphviz 错误问题
前言Keras中提供了一个神经网络可视化的函数plot_model，并可以将可视化结果保存在本地。使用方法如下：from keras.utils import plot_modelplot_model(encoder_model, to_file='encomodel.png',show_shapes=True)笔者在使用过程中遇到了这样一个问题RuntimeError: F...
2018-04-11 20:36:38
752
原创 Mac下Pytorch安装
一、安装Anaconda安装环境： 虽然笔者用的是mac，自带了Python，但是还是先安装了Anaconda（点击进入官网）。因为它集成了很多Python的第三方库，而且可以方便的管理不同版本的Python，在不同版本的Python之间切换。而且Anaconda是一个科学计算环境，在电脑上安装完Anaconda之后，除了相当于安装了Python，也安装好了一些常用的库。笔者安装...
2018-04-05 10:43:24
26382
4
原创 Macbook Pro （15'', Late 2013） 外接技嘉显卡扩展坞 使用经验
先放上电脑配置笔者用的是2013款的macbook pro，配置目前看来还可以。机身上带有雷电2而不是雷电3接口，因为这个原因用外置显卡的效果就会大打折扣。即使如此，笔者用来训练的时候，时间上也比用cpu缩短了20多倍。为什么要买外置显卡本来感觉自己的小mbp用着还不错，用了4年多了和买的时候也差不多，一点都不卡，非常的流畅。但是最近用来训练深度学习的网络就发现用cpu训练慢的...
2018-04-05 10:39:28
19950
6
原创 Wordpress 访问固定链接文章出现404
前几天弄了个腾讯云，然后今天建了一个WordPress站点，但是发现访问 固定链接文章时出现404错误。搜了下，但是网上的教程都是对于使用apache的，然而笔者用的是apache2。ubuntu下的apache2和网上的大部分教程不一样，首先要用命令： sudo a2enmod rewrite开启位于/etc/apache2/mods_avilable里面的rewrite模...
2018-03-07 22:59:19
1385
原创 【强化学习笔记】从 “酒鬼回家” 认识Q Learning算法
1.背景现在笔者来讲一个利用Q-learning 方法帮助酒鬼回家的一个小例子, 例子的环境是一个一维世界, 在世界的右边是酒鬼的家。这个酒鬼因为喝多了，根本不记得回家的路，只是根据自己的直觉一会向左走、一会向右走。酒鬼最后只要成功回家, 然后以后就记住了回家的方法, 这就是他用强化学习所学习到的行为。 -w- - - - - H H 是酒鬼的家, w 是酒鬼所处的位置...
2018-02-20 00:55:42
957
原创 【年终糖果计划】跟风领一波糖果 candy.one 领取教程 （已失效）
糖果领取网址（较为稳定）：https://candy.one/i/1474564 用微信和QQ打开的朋友请复制到其他浏览器打开糖果领取网址（较为稳定）：https://candy.one/i/1474564网站的服务时好时坏。侥幸能挤进去的，就能无条件领到100个糖果。步骤一：填写手机号步骤二：等待验证码，输入即可。（如果出现Error，只需要多刷新几次，或是晚些时候...
2018-01-24 17:44:47
1899
原创 【GAN学习笔记】对抗式生成网络入门
今天观看学习了一下台大李宏毅所讲授的 《Introduction of Generative Adversarial Network (GAN)》，对GAN有了一个初步的了解。GAN的基本概念首先，GAN（Generative Adversarial Network ）应该怎样发音呢？GAN的读法可以读G A N，三个字母分开读，也可以读作gàn。GAN主要包含一个Gnenrator和一个Discr
2018-01-04 15:45:47
1761
原创 【Unreal Engine 4】虚拟试衣镜
本文由@ray 出品，转载请注明出处。 文章链接： http://blog.csdn.net/wz22881916/article/details/788685271.简介魔镜是一款基于增强现实的虚拟试衣系统，通过自然人机交互的方式，利用虚幻引擎4、Kinect和OpenCV，实现了响应式的3D虚拟试穿以及分享的功能，为用户带来了直观、便捷、具有沉浸感的试衣体验。O__
2017-12-21 22:35:17
1951
3
原创 Mac下CUDA开启及Tensorflow-gpu 1.4安装
本文由@ray 出品，转载请注明出处。 文章链接： http://blog.csdn.net/wz22881916/article/details/78495543在之前的文章中，笔者介绍了在Mac下安装Tensorflow及开发环境搭建。但是感觉用CPU跑机器学习还是太慢了，所以便研究研究如何使用GPU来跑。1.运行环境软件环境： macOS Sierra 10.12.6 Xcode
2017-12-14 22:18:30
17025
4
Super ScrollView for UGUI.unitypackage
2017-12-14
wget-1.19.2.tar
2017-12-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人