- 博客(88)
- 资源 (24)
- 论坛 (3)
- 收藏
- 关注
原创 RuntimeError: cuda runtime error (59) : device-side assert triggered
问题在训练 Transformer 的过程中,pytorhc出现的问题:RuntimeError: cuda runtime error (59) : device-side assert triggered at C:/w/1/s/tmp_conda_3.6_155139/conda/conda-bld/pytorch_1565366019852/work/aten/src\THC/THCReduceAll.cuh:327具体报错如下C:/w/1/s/tmp_conda_3.6_155139
2021-03-23 04:52:37
101
原创 Windows 随笔记
来了新的环境后,可用的计算资源骤减,目前组里只有一台有Windows server的服务器,上面还是Tesla K40m。无奈,只能尝试用蹩脚的Windows。此文记录使用过程中的一些问题,不定时更新。1. Windows下查看GPU(NVIDIA)使用情况一般情况下,nvidia-smi 的指令在 C:\Program Files\NVIDIA Corporation\NVSMI 目录下 nvidia-smi.exe.要在Windows中运行nvidia-smi,有两种方案:(1) 先 win+
2020-12-11 04:49:05
138
原创 训练U-net时loss出现负值
原因:没有对作为标签的的图像矩阵做归一化,导致标签的图像矩阵其取值范围不在[0, 1]之间。原因解释可见:tf.nn.sigmoid_cross_entropy_with_logits出现负数原文链接:http://blog.sina.com.cn/s/blog_6ca0f5eb0102xjxd.htmltf.nn.sigmoid_cross_entropy_with_logits使用这个loss函数,出现loss出现负数的情况,在理论情况下,这个函数应该是不会存在负数的情况,查看这个函数的
2020-07-22 16:57:40
1104
原创 Opencv 随笔记
记录使用Opencv过程中遇到的问题(不定时更新)。目录1、安装opencv、cv22、libSM.so.6: cannot open shared object file: No such file or directory3、使用cv2.imwrite保存的图像是全黑的1、安装opencv、cv2pip install opencv-python2、libSM.so.6: cannot open shared object file: No such file or dir
2020-07-12 17:57:50
55
原创 深度学习神经网络 随笔记
深度炼丹入坑许久,记录一些过程中遇到的问题,不定时更新。NO FREE LUNCH定理:如果不考虑具体问题,所有的算法都是随机猜测,没有好坏之分。1、训练数据集shuffle的作用在将训练数据送入网络之前,一般均会对数据集做shuffle,打乱数据之间的顺序,让数据随机化,这样可以避免过拟合。如果不shuffle,模型短期时间内可能会连续遇见到A类型样本,可能会出现过拟合,而另一段时间内又过拟合于B类型样本,忘记之前学习到的A样本,这样的模型泛化能力必然很差。那如果A和B样本一直交替,还会.
2020-05-20 15:09:14
126
原创 pytorch 随笔记
此为pytorch使用过程中遇到的些许问题,及相应解决方法。目录1、安装并测试 warp-CTC1、安装 warp-CTC2、测试warp-CTC2、报错:RuntimeError: set_sizes_contiguous is not allowed on Tensor created from .data or .detach()3、报错:RuntimeError:...
2019-10-07 18:10:41
564
原创 Ubuntu 18.04 安装 Anaconda 配置 pytorch 虚拟环境
此为记录在服务器上配置pytorch环境步骤。目录1、安装Anaconda2、配置pytorch虚拟环境1、使用activate激活该环境2、安装pytorch3、测试pytorch1、安装Anaconda此次任务需要用 python 2,所以安装 Anaconda 的 Python 2.7 版本。具体安装过程与之前安装Anaconda 3无异。...
2019-10-07 17:48:27
2384
原创 “Sndfile not found” error while installing scikits audiolabs
Problem:The following error occurs when installing scikits audiolabsSndfileInfo:libraries sndfile not found in /usr/local/liblibraries sndfile not found in /usr/liblibraries sndfile not found i...
2018-11-12 21:57:06
1142
1
原创 Ubuntu 18.04 安装 Tensorflow 环境之三:安装 CUDNN 7.4.1
CUDA 10 就安装好了,下来需要安装 cudnn 7.4.1,才能利用 GPU 进行计算加速。安装过程1、下载CUDNN在 NVIDIA官网上下载 NVIDIA CUDNN 相关资源,NVIDIA 官网需要注册,在 login 进去之后,点击同意“I Agree To the Terms of the cuDNN Software License Agreement”,相关资...
2018-11-10 17:28:44
9878
1
原创 Ubuntu 18.04 安装 Tensorflow 环境之二:安装 CUDA 10.0
在前面装好显卡驱动之后,在这一节,安装 CUDA,由于更新换代,现在 NVIDIA 官网上已经是 CUDA 10 了。安装过程1、在 官网 上下载 cuda_10.0.130_410.48_linux.run, 建议下载 .run 的文件,大约2G,便于自己选择性安装;若官网上无法下载,可从这里获取网盘上资源的地址及密码,从网盘上下载。2、安装 CUDA:sudo sh cu...
2018-11-10 16:57:30
1667
4
原创 Ubuntu 18.04 安装 Tensorflow 环境之一:安装 Nvidia 驱动
起因:之前的4个GPU卡的机器经常被别人占用,随又向mentor要了一台机器,这次的是一个单卡 GTX 1080 的服务器,刚装了 Ubuntu 18.04 的系统,所以得一步步从头开始装。安装步骤:1、删除旧的Nvidia驱动文件sudo apt-get purge nvidia-*2、加入PPA源sudo add-apt-repository ppa:graphics-...
2018-11-10 16:38:09
1160
原创 ImportError: No module named 'PIL'
环境: anaconda3 + Ubuntu 16.04 + Python3.6 + TensorFlow 1.3 + keras 2.1.3原因:缺少 pillow解决方案:pip install --user Pillow因为是在Ubuntu 服务器 多用户环境下,所以加 ‘--user’ ,安装在自己用户目录下,防止污染别人的环境,被人打。。。...
2018-10-03 20:41:02
1400
1
原创 ImportError: No module named cv2
环境: anaconda3 + Ubuntu 16.04 + Python3.6 + TensorFlow 1.3 + keras 2.1.3解决方案:1)网上大多数是复制方案,操作起来太繁琐,放弃;2)源码编译安装,同样繁琐,放弃;3)pip install --user opencv-python采用第三种方案,方便快捷。又因为是在Ubuntu 服务器 多用户环境下,所...
2018-10-03 20:36:58
464
原创 Ubuntu16.04服务器普通用户(非管理员账户)在自己目录下安装TensorFlow, Keras等(亲测)
最近在 MSRA 实习,组里给了一台多GPU的服务器账号,登录进去一看,已经多个用户了。本着不打扰别人的搭建的环境,也不被别人打扰的原则,决定在自己用户的目录下面单独安装相应的开发环境。要安装的的工具有: Anaconda3,TensorFlow,Keras 还有音频常用的包:librosa 。目前就需要这些。1、安装 Anaconda3在官网上https://www.ana...
2018-08-08 16:15:01
8451
6
原创 Ubuntu 随笔记
本文记录 Ubuntu 使用过程中遇到的一些问题,不定期更新。目录1、Ubuntu 查看 root 组中有哪些用户2、Ubuntu的终端里,上下键出现 ^[[A^[[B 等字符,无法切换最近输入的命令(2018.8.8)3、查看显卡型号4、查看本机 IP5、查找某个文件1、find2、locate3、whereis4、which6、在多...
2018-08-07 16:57:28
103
原创 TensorFlow 随笔记
本文记录 TensorFlow 使用过程中遇到的一些问题,不定期更新。1、查看TensorFlow版本pythonimport tensorflow as tftf.__version__或者python -c "import tensorflow; print tensorflow.__version__"2、查询TensorFlow版本的安装路径在上...
2018-08-07 14:34:57
130
原创 keras 随笔记
本文记录 keras 使用过程中遇到的一些问题,不定期更新。1、查看 keras 版本python -c "import keras; print keras.__version__"2、更新 kerassudo pip install --upgrade keras3、修改 keras 的 backend方法1在users文件夹下新建.keras文件夹,在文件夹下新建...
2018-04-03 10:07:36
528
原创 随笔记--贝叶斯学派与频率学派
1、差别:两者之间最大的差别:在对物理世界建模时,使用参数的认知不同。频率学派将模型参数看着是固定的,贝叶斯学派把参数也看着是随机变量,也符合某种分布,这是两者的根本区别。1)频率学派:模型的参数是固定的,真实而客观存在的。实现方法是使用最大似然(maximum likelihood)以及置信区间(confidence interval),找出这个参数的真实值。频率派的优点,是没有假设一个先验分布...
2018-03-16 16:14:39
207
原创 Ubuntu16.04 install pyaudio
Solution:$ sudo apt-get install python-pyaudio
2018-03-13 22:29:47
2606
原创 【亲测】Ubuntu16.04手动安装nvidia显卡驱动+CUDA 8.0--Acer E5-572G版
前言前段时间,配置实验室新服务器上的Tesla P4,结果一直有问题,最后终于解决之后。昨天晚上想在自己的笔记本上安装pytorch,sudo apt-get update的时候,结果提示系统缺少一些包,然后用 sudo apt-get -f install 的时候,系统居然把好多包自己卸载到了,郁闷。这个命令:-f 参数的主要作用是是修复依赖关系(depends),假如用户的系统上有某个pa
2018-01-27 13:58:05
1343
原创 【亲测】Ubuntu16.04手动安装nvidia显卡驱动+CUDA 8.0--联想服务器版(之二)
接着上一篇,把服务器版本的安装教程写完4. 安装cuda 8.01)重启后再次进入字符终端界面(Ctrl + Alt + F1),并关闭x window图形界面,进入安全模式安装(lightdm):sudo service lightdm stop2)在安装cuda时,可以自动安装NVIDIA驱动的,但是这样安装的驱动版本较低,会自动安装OpenGL等文件,又会造成冲突,有问题
2018-01-27 10:47:38
1108
原创 【亲测】Ubuntu16.04手动安装nvidia显卡驱动+CUDA 8.0--联想服务器版(之一)
针对于服务器:硬件基础:联想服务器,显卡:Tesla P4配置实验室新服务器的时候发现,安装Ubuntu16.04之后:1)直接安装nvidia驱动,用指令nvidia-smi可以测试成功,看到Tesla P4的信息;2)用cuda 8.0直接安装,用cuda中默认的驱动,也是安装并测试成功;但是以上只要一关机重启,在Ubuntu的启动界面,输入密码之后,会
2018-01-26 22:42:50
2909
转载 对线性回归、逻辑回归、各种回归的概念学习
刚想写一下线性回归与逻辑回归之间的差异,结果看到了一篇神文,感到再写也没有什么新意,随转载。原文地址: http://blog.csdn.net/viewcode/article/details/8794401回归问题的条件/前提:1) 收集的数据2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数。然后利用这个模型去预测/分类新
2018-01-20 08:52:13
217
原创 完全删除Ubuntu中没用的libreoffice套件
作为一个有洁癖的程序员,看到这个没用又占内存的程序,只想删了它们: sudo apt-get purge libreoffice* # 卸载并且删除相关配置 sudo apt-get clean # 删除安装了的软件包的安装包(如果你确定这些安装包不会再用)。 删除包缓存中的所有包。 sudo apt-get autoremove # 删除为了满足其他软件包的依赖而安装
2018-01-09 19:43:09
7191
原创 Windows下 SSH 通过密钥登录 Linux 服务器
引:之前在服务器上设置过SSH通过密钥登录,上次服务器重装系统,之前的密钥也就不能用了。无奈上次设置的过程忘了,在网上找了些教程,有的是不能用,有的是又啰嗦又没用,所以决定自己写一篇,作为记录。一般通过密码登录远程管理 Linux 服务器时,密码容易被暴力破解。所以,一般的方法有三种:1、将 SSH 的端口设置为默认的 22 以外的端口;2、禁用 root 账户登录;
2017-11-15 11:38:47
28063
原创 Yoshua Bengio——《Deep Learning》学习笔记1
版权声明:此为Yoshua Bengio的新书《Deep Learning》学习笔记,本文为博主在研究工作中经验分享,包括学习笔记、摘录、研究成果,以便以后工作参考之用,欢迎交流和批评;其中参考资料的标注难免会有疏漏之处,以及其它欠妥之处,如有请告知,立马更正,致歉,谢谢;未经博主允许不得转载。第一章 前言机器学习(machine learning): AI 系统需要具备自己获
2017-10-31 21:26:17
937
原创 Ubuntu14.04安装theano
1、安装依赖包# 安装gfortran,后面编译过程中会用到sudo apt-get install gfortran# 安装blas,Ubuntu下对应的是libopenblas,其它操作系统可能需要安装其它版本的blas——这是个OS相关的。sudo apt-get install libopenblas-dev# 安装lapack,Ubuntu下对应的是liblapack
2017-10-12 15:55:57
257
原创 (亲测)服务器 Ubuntu 14.04 安装 CUDA 8.0 + cuDNN 5.1 + tensorflow
{昨天服务器里的软件,一不小心被学弟upgrade了,结果导致 GPU Tesla P4 的驱动和 CUDA tookit 的驱动不匹配,结果就悲剧了。加上实验室的服务器(IBM 365 2U)年久失修,无奈之下又只能重装一遍。}重装的时候,看了一些别的教程:显示自己重新下载安装了GPU的驱动 nvidia-573,安装了驱动之后 nvidia-smi 可以查看到GPU内存的使用情况,
2017-10-12 09:09:16
1521
原创 标准差公式中,分母是"n"还是"n-1"?
一组数据,求其标准差,用除以n的那个。注意,这组数据是我们研究的全部,即总体。如果我们研究的是总体,总体的规模很大甚至无穷,我们对总体进行n次观察,得到容量为n的一组数据,称为总体的一个样本,求标准差时应该用除以n-1的那个。除以n-1的那个称为样本标准差,它是总体标准差的无偏估计。
2017-09-18 22:18:34
12505
原创 python 试题:以mysql或者sqlite为例,请用代码给出简洁且完整的数据库操作示例。
以mysql或者sqlite为例,请用代码给出简洁且完整的数据库操作示例。参考答案:[参考代码:]# 导入MySQL驱动:import mysql.connector# 注意把password设为你的root口令:conn = mysql.connector.connect(user='root', password='password'
2017-09-17 16:04:58
290
原创 python 试题:Python中pass语句的作用是什么?
Python中pass语句的作用是什么?参考答案:pass语句什么也不做,一般作为占位符或者创建占位程序
2017-09-17 15:48:32
1614
原创 python 试题:写一段程序逐行读入一个文本文件,并在屏幕上打印出来。
写一段程序逐行读入一个文本文件,并在屏幕上打印出来。参考答案:f = open(filename) while True: line = f.readline() if not line: break print(line) f.close()
2017-09-17 15:47:39
11245
原创 python 试题:请写一个类,实现一个stack类,要求类中包含至少一个特殊方法。
请写一个类,实现一个stack类,要求类中包含至少一个特殊方法。参考答案:class Stack : def __init__( self ): ''' Creates an empty stack. ''' self._items = list() def isEmpty(se
2017-09-17 15:46:32
375
原创 python 试题:简述Python是如何进行内存管理的?
简述Python是如何进行内存管理的?参考答案:python内部使用引用计数,来保持追踪内存中的对象,Python内部记录了对象有多少个引用,即引用计数,当对象被创建时就创建了一个引用计数,当对象不再需要时,这个对象的引用计数为0时,它被垃圾回收。所有这些都是自动完成,不需要像C一样,人工干预,从而提高了程序员的效率和程序的健壮性。
2017-09-17 11:39:35
1006
原创 python 试题:请描述decorator(装饰器)的用法和它的应用场景,如果可以的话,写一个decorator
请描述decorator(装饰器)的用法和它的应用场景,如果可以的话,写一个decorator参考答案:所谓装饰器就是把函数包装一下,为函数添加一些附加功能,装饰器就是一个函数,参数为被包装的函数,返回包装后的函数:def d(fp): def _d(*arg, **karg): print "do sth before
2017-09-17 11:38:27
1066
原创 python 试题:写一个类,并让它尽可能多的支持操作符。
写一个类,并让它尽可能多的支持操作符。参考答案:class Array: __list = [] def __init__(self): print "constructor" def __del__(self): print "destructor" def __str__(s
2017-09-17 11:36:03
1124
原创 ubuntu16.04 keras可视化:pydot&graphviz无法导入问题(亲测有效)
前言ubuntu 16.04 中,用 keras 搭建神经网络,想画出网络的结构图,看了网上许多的教程,感觉是一个抄一个的,配置起来麻烦、罗嗦,关键是最后还没用。正文用 keras 绘制神经网络的结构,需要用到:1、 graphviz 模块;2、 graphviz 软件本身;3、 pydot 模块。注意: 以上三个模块的安装顺序不能乱
2017-08-31 17:00:24
707
原创 隐马尔科夫模型 HMM 与 语音识别 speech recognition (1):名词解释
引言想在 CSDN 上看一下隐马尔科夫模型 HMM 的例子,找了几篇博文,却发现大部分都是转载的,转载的还没有出处,文中的表述与逻辑也看的人晕头转向,让人无语。随决定自己来写,刚好将以往的知识点整理一下,希望自己能坚持写完。起因最近在做类似英语流利说的英语读音自动评分项目,项目预期分为两个阶段,第一个阶段是对单词读音的评分,第二个阶段是对句子读音的评分。对于单词读音的评分,
2017-08-22 16:09:08
2611
转载 【Python】解决使用plt.savefig保存图片时一片空白
原文链接: http://blog.csdn.net/u010099080/article/details/52912439问题当使用如下代码保存使用plt.savefig 保存生成的图片时,结果打开生成的图片确实一片空白。import matplotlib.pyplot as plt""" 一些画图代码 """plt.show()plt.savefig("f
2017-08-22 11:31:23
960
DTW(Dynamic Time Warping / 动态时间归整) python实现的Demo
2017-08-24
官网最新libcudnn7-doc_7.4.1.5-1+cuda10.0_amd64.deb
2018-11-10
官网最新libcudnn7-dev_7.4.1.5-1+cuda10.0_amd64.deb
2018-11-10
NVIDIA INT8 GTC China 2017 community Corner 演讲PPT
2017-10-29
吴恩达deeplearning.ai深度学习课件与笔记(1-3)
2017-11-30
(高清原版)Neural Networks and Learning Machines(3rd Edition)-simon haykin-神经网络与机器学习
2017-09-27
实测可用,Windows下的cudnn 5.1,64位版本,适用cuda-8.0
2017-10-22
CSDN博主之间,为什么不能相互发私信?
发表于 2018-05-08 最后回复 2019-11-26
编辑好的文章,发表的时候数字列表什么也没有?一堆纯文字
发表于 2018-01-26 最后回复 2018-01-27
新旧版的编辑器跟shi一样,就不能搞成个word版或者LaTeX版吗
发表于 2018-01-27 最后回复 2018-01-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝