![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习笔记
文章平均质量分 82
Dmoll
这个作者很懒,什么都没留下…
展开
-
解决:CUDA out of memory,并且查不到process id
我们平时使用GPU训练深度学习模型时,有时程序异常终止而gpu的内存却并没有自动清空,导致我们想再次运行程序时,会出现报错:RuntimeError: CUDA out of memory。这时候最简单直接的办法就是重启电脑,可是如果我们不想老是去重启电脑,或者程序运行在服务器上我们没权限重启怎么办,下面提供几种应对不同情况的办法。首先,我们在命令行输入nvidia-smi,查看当前gpu使用情况。当可以查看到进程时如上图所示,当可以在输出结果中看到process id(PID)时,我们可以直原创 2021-09-02 04:54:10 · 1423 阅读 · 0 评论 -
几种线性回归方法的简介
在给定一列数据(x1,y1),...,(xn,yn)(x_1, y_1), ...,(x_n, y_n)(x1,y1),...,(xn,yn)时,如果认为它满足线性模型:y=a+bx+ϵy=a + bx + \epsilony=a+bx+ϵ则可以用不同方法估计参数来拟合直线。1. 最小二乘法(OLS)回归最小二乘法是大家平时用的最多的拟合线性模型的方法,它使:RSS(a,b)=∑...原创 2018-12-09 19:11:37 · 12136 阅读 · 0 评论 -
简单理解t检验与秩和检验
t-检验选用t-检验的基本前提假设是,两组样本都服从正态分布,且方差相同。设有两类(x, y)分别有mmm个和nnn个样本,它们的总体样本方差是:sp2=(n−1)Sx2+(m−1)Sy2m+n−2s_p^2=\frac{(n-1)S_x^2+(m-1)S_y^2}{m+n-2}sp2=m+n−2(n−1)Sx2+(m−1)Sy2其中,Sx2S_x^2Sx2和Sy2S_y^2Sy2...原创 2018-10-14 11:56:44 · 63778 阅读 · 1 评论 -
Sequence Models-第三周
第三周学得有点懵懵懂懂,教学视频已经看完了,吴恩达老师最后的总结发言还是挺感人的(DL superman)。1. Sequence to sequence model从Encoder到decoder 看图说话 2.选择最有可能的句子机器翻译和传统的语言模型很像 选择最佳的翻译,而不是从候选项中随机选择一个。 贪婪搜索法并不能保证整体的概率最大 3. B...原创 2018-09-10 20:42:46 · 269 阅读 · 0 评论 -
Sequence Models-第二周
1. Word reperesentation1.1 1-hot reperesentation通过上一周的学习,我们了解到,在自然语言处理过程中,可以采用1-hot reperesentation来表示句子中的每个单词,即用该单词在词库中的位置表示。但这种表示方法有一个显而易见的缺点:即任意两个单词间的距离关系是一样的,这种表示方法无法表示相似词汇之间的相似性。 例如:对于1-ho...原创 2018-08-27 20:55:06 · 226 阅读 · 0 评论 -
CNN-第三周:Detection algorithms
1. Object Localization我们之前的学习一直在讨论图片分类;接下来这一章将讲到物体定位,即不仅要判别图片中是否有检测目标,还要标出目标的位置。如下: 要做到object localization,首先需要给训练图片明确地标注出待检测目标的具体位置(x, y, h, w)。 一种典型的标注方法如下: 2. Landmark Detection事实上,只要你对训练集标注得当,原创 2018-03-04 18:04:41 · 570 阅读 · 0 评论 -
Convolutional Neural Networks:第二周
1. Classic Networks第二周的课程首先介绍了几种经典的卷积神经网络模型:LeNet-5AlexNetVGG1.1 LeNet-51.2 AlexNet1.3 VGG-16VGG模型把所有的卷积层和池化层的大小都固定了,因此结构简单,但是参数量巨大。 2. ResNets使用Residual block能够帮助训练非常...原创 2018-02-24 21:45:04 · 462 阅读 · 0 评论 -
初识卷积神经网络(CNN)
卷积神经网络:Convolutional Neural Networks卷积神经网络在计算机视觉领域非常有名,现在我们就来一起学习它。从之前的学习中我们了解到,计算机在识别图片时,学习到的初级特征往往是一些线条,而利用卷积神经网络可以帮助模型更快地发现特征线条。 “卷积”的过程很简单:如上图所示,将原始图像(左)乘以一个筛子(中)后,即可得到处理后的结果。如下图所示,可以利用该筛子找到原图像中原创 2018-02-03 17:49:17 · 357 阅读 · 0 评论 -
学习笔记-batch normalization
这是Deep learning 第二门课的第三周课程的学习笔记。原创 2017-11-26 12:27:01 · 284 阅读 · 0 评论 -
学习笔记-神经网络初级入门
1. 写作背景——刚学到的知识如果不及时记录下来,很快就会被遗忘。从上个月开始我就开始在Coursera平台学习吴恩达老师开设的深度学习课程。今天我已经学完第一门课程,并已经获得证书。这门课程不像之前的机器学习课程提供了完整的授课ppt,因为担心自己学完后会很快就忘记,以后回忆起来太费劲,所以决定在这里写下自己学习这门课程的笔记。当然,我只会记录对我将来回忆有帮助的信息。只希望自己以后回忆起来会容易原创 2017-11-04 15:06:51 · 391 阅读 · 0 评论 -
学习笔记—Optimization algorithms
这是这门课程第二周的内容。 当深度学习遇到大数据(样本量在十万级以上)时,我们之前的常规操作在这时可能会变得很笨重。1. Mini-batch gradient descent之前在模型训练过程时,每一轮迭代都需要遍历整个训练集样本,当样本集非常大时,这样的每一轮都将经历漫长的时间。为了应对这一难题,有人提出了Mini-batch gradient descent,与之对应的是batch grad原创 2017-11-16 21:53:06 · 389 阅读 · 0 评论