深度学习理论
文章平均质量分 79
深度学习过程中遇到的问题及其解决方法
KernStarc
在读研究生
展开
-
SVM支持向量机sklearn代码V3
import numpy as npimport matplotlib.pyplot as pltfrom sklearn import svmfrom sklearn.datasets import make_blobsX, y = make_blobs(n_samples=50, centers=2, random_state=6)clf = svm.SVC(kernel='linear', C=1000)clf.fit(X, y)# plot the samplesplt.sca.原创 2020-07-24 16:29:19 · 155 阅读 · 0 评论 -
SVM推导过程中r=2/||w||怎么理解
下图为西瓜书SVM示意图:结合点到直线距离公式可知:(1)r=2/||w|| 是两个超平面之间的距离。(2)SVM是要使最大化间隔max 2/||w||,即min 1/2*||w||,等价于最小化||w||^2原创 2020-07-23 12:37:42 · 1321 阅读 · 0 评论 -
SVM支持向量机sklearn代码V1
import numpy as npfrom matplotlib import pyplot as pltfrom sklearn import svm# 原始数据生成函数def f(x): noise = np.random.normal(0, 1, len(x))[:, np.newaxis] y = x * x * x - 16 * x - x * x + 5 + 66 * noise return y# 生成原始函数X = np.linspace(-12.原创 2020-07-23 20:54:47 · 486 阅读 · 0 评论 -
SVM支持向量机sklearn代码V2
from sklearn import svmfrom sklearn.datasets import make_blobsimport matplotlib.pyplot as pltimport numpy as npX, y = make_blobs(n_samples = 100, centers = 2 ,random_state = 0, cluster_std = 0.3 )clf = svm.SVC(C = 1.原创 2020-07-23 20:59:07 · 297 阅读 · 0 评论 -
SVM支持向量机sklearn-wine红酒数据集代码V1
import numpy as npimport matplotlib.pyplot as pltfrom sklearn import svmfrom sklearn.datasets import make_blobsfrom sklearn.datasets import load_wine# 定义函数作图def make_meshgrid(x, y, h=.02): x_min, x_max = x.min() - 1, x.max() + 1 y_min, y_m.原创 2020-07-24 18:11:02 · 2542 阅读 · 0 评论 -
《西瓜书+统计学习方法》第一章-误差评估与检验
1 模型评估与选择1.1 经验误差1.2.1 精确度Acc = 1-a/m1.2.2 错误率Error=a/m1.2.3 欠拟合和过拟合欠拟合:增加训练次数。过拟合:无法彻底解决,只能缓解。1.2.4 模型选择对候选模型进行泛化误差评估,选择泛化误差最小的模型。1.2 评估方法1.2.1 留出法按比例留出部分数据做测试集数据。多次留出法,取平均值:过多,变成以全部数据集D做训练,少量的测试集T不能正确评估。过少,训练集数据因每次...原创 2020-10-17 19:30:59 · 840 阅读 · 0 评论 -
requires_grad&volatile在冻结训练&预训练中的使用
每个变量都有两个标志:requires_grad和volatile。它们都允许从梯度计算中精细地排除子图,并可以提高效率。requires_grad 如果有一个单一的输入操作需要梯度,它的输出也需要梯度。相反,只有所有输入都不需要梯度,输出才不需要。如果其中所有的变量都不需要梯度进行,后向计算不会在子图中执行。>>> x = Variable(torch.randn(5, 5))>>> y = Variable(torch.randn(5, 5...原创 2020-09-12 15:25:17 · 509 阅读 · 0 评论 -
数据预处理-transform[ToTensor,Normalizer]
https://www.lizenghai.com/archives/46484.html?btwaf=28833990常用的数据预处理方法:torchvision.transforms:提升泛化能力包括:数据中心化、数据标准化、缩放、裁剪、旋转、翻转、填充、噪声添加、灰度变换、线性变换、仿射变换、亮度、饱和度及对比度变换等数据标准化 transforms.Normalize() 功能:逐channel的对图像进行标准化(均值变为0,标准差变为1),可以加快模型的收敛 o原创 2020-09-13 10:19:57 · 3162 阅读 · 0 评论 -
损失函数-MSE-CEE
F.cross_entropy()F.nll_entropy()nn.MSELoss()MSELoss损失函数中文名字就是:均方损失函数,公式如下所示:这里 loss, x, y 的维度是一样的,可以是向量或者矩阵,i 是下标。很多的 loss 函数都有 size_average 和 reduce 两个布尔类型的参数。因为一般损失函数都是直接计算 batch 的数据,因此返回的 loss 结果都是维度为 (batch_size, ) 的向量。一般...原创 2020-09-13 10:54:13 · 1731 阅读 · 0 评论 -
Network in Network
CSDN下载链接https://download.csdn.net/download/qq_38649386/13986601原创 2020-12-30 20:13:02 · 204 阅读 · 0 评论 -
如何学习open CV
https://blog.csdn.net/zhangjunp3/article/details/79907555本文授权转载自贾老师的微信公众号"OpenCV学堂"。更多信息可扫描文末二维码关注公众号(知乎已将二维码转换成链接,可自动跳转到微信)。一:学习OpenCV三个阶段人工智能带火了计算机视觉的人才需求,作为计算机视觉应用开发框架OpenCV也越来越受到欢迎,市场需求大增,很多人听说了之后就迫不及待的想加入这波大军,这其中很多人他可能懂应用编程,但是计算机视觉零基础,一般都是我要识别个什转载 2020-09-17 10:12:33 · 1462 阅读 · 0 评论 -
YOLOv3文章理解与代码理解资料链接
3 YOLOv33.1 文章3.1.1 YOLOv3 深入理解链接:https://www.jianshu.com/p/d13ae1055302概述:讲先验框尺寸和输出tensor组成3.1.2 What’s new in YOLO v3?链接:https://towardsdatascience.com/yolo-v3-object-detection-53fb7d3bfe6b概述:介绍了YOLO3改进,不是很详细,但是可以锻炼英文阅读能力。3.1....原创 2020-10-17 21:15:15 · 192 阅读 · 0 评论 -
YOLOv2文章理解与资料链接
2 YOLOv22.1 文章链接https://zhuanlan.zhihu.com/p/35325884https://zhuanlan.zhihu.com/p/475759292.2 speed&mAP比较2.3 改进原创 2020-10-17 21:13:56 · 122 阅读 · 0 评论 -
YOLOv1文章理解与资料
1 YOLOv1 YOLO v1原文理解 1.1.1 摘录448*448-->CNN-->7*7*30(20+2*(4+1))S*S*(C+B*(4+1))4:(Center_x,Center_y,width,height)a:confidence最多表示的对象:7*7=49个,最多表示出49个对象。总共有 49*2=98 个候选区(bounding box)NMS(非极大值抑制):每个网格有:20个对象的概率*2个...原创 2020-10-17 21:12:54 · 139 阅读 · 0 评论 -
代价函数&损失函数&目标函数的理解
https://blog.csdn.net/lyl771857509/article/details/79428475损失函数(Loss Function )是定义在单个样本上的,算的是一个样本的误差。代价函数(Cost Function )是定义在整个训练集上的,是所有样本误差的平均,也就是损失函数的平均。目标函数(Object Function)定义为:最终需要优化的函数。等于经验风险+结构风险(也就是Cost Function + 正则化项)。代价函数 + 正则化项关于原创 2020-09-14 16:33:14 · 213 阅读 · 0 评论 -
编码器和GAN网络的概念
生成对抗模型:思想来源于博弈理论的纳什均衡。基本思想:能够从有限的数据集中获得足够的训练样本,从而学习训练样本中的概率分布。D:判别模型,目的:实现对数据来源的二分类。G:生成模型生成模型:生成假数据,结合判别模型,最终达到生成以假乱真的数据。判别模型:判别数据是真/假。自编码器:通过训练网络忽略信号中噪声的数据。通常用于降维和数据压缩、去噪。特点:1.只能用于压缩训练数据集相关的数据;2.压缩的数据是有损压缩;变分自动编码器:...原创 2020-09-13 21:51:56 · 1282 阅读 · 0 评论 -
KL散度-Entropy-JS散度-W距离
https://zhuanlan.zhihu.com/p/95687720KL Divergence所谓KL散度,是指当某分布q(x)被用于近似p(x)时的信息损失。也就是说,q(x)能在多大程度上表达p(x)所包含的信息,KL散度越大,表达效果越差。转载 2020-09-13 20:56:32 · 540 阅读 · 0 评论 -
冻结训练
https://www.zhihu.com/question/311095447/answer/589307812https://zhuanlan.zhihu.com/p/115251842https://zhuanlan.zhihu.com/p/137562717原创 2020-09-12 21:12:45 · 906 阅读 · 0 评论 -
one-hot编码文章链接
https://www.cnblogs.com/zongfa/p/9305657.html原创 2020-09-12 20:27:33 · 119 阅读 · 0 评论 -
局部最小值
https://blog.csdn.net/malefactor/article/details/78768210?utm_source=blogxgwz5对于神经网络目标函数优化来说,在参数寻优过程中最常用的算法是梯度下降,目前也出现了很多基于SGD基础上的改进算法,比如带动量的SGD,Adadelta,Adagrad,Adam,RMSProp等梯度下降改进方法,这些算法大多都是针对基础更新公式进行改进:一般深度神经网络由于很深的深度以及非线性函数这两个主要因素,导致目标的损失函数是非...原创 2020-09-12 17:07:52 · 2259 阅读 · 0 评论 -
Batch size对训练效果的影响&局部最小值
一般来说,在合理的范围之内,越大的 batch size 使下降方向越准确,震荡越小;batch size 如果过大,则可能会出现局部最优的情况。小的 bath size 引入的随机性更大,难以达到收敛,极少数情况下可能会效果变好。首先,为什么需要有 Batch_Size 这个参数? Batch 的选择,首先决定的是下降的方向。如果数据集比较小,完全可以采用全数据集(Full Batch Learning)的形式,这样做至少有 2 个好处:其一,由全数据集确定的方向...原创 2020-09-12 16:33:53 · 873 阅读 · 0 评论 -
极客公园-零基础看懂全球 AI 芯片:详解「xPU」
https://www.sohu.com/a/169062329_413980随着 AI 概念火爆全球,做 AI 芯片的公司也层出不穷。为了让市场和观众能记住自家的产品,各家在芯片命名方面都下了点功夫,既要独特,又要和公司产品契合,还要朗朗上口,也要容易让人记住。比较有意思的是,很多家都采用了「xPU」的命名方式。本文就来盘点一下目前各种「xPU」命名 AI 芯片,以及芯片行业里的各种「xPU」缩写,供吃瓜群众消遣,也供后来者起名参考。此外,除了「xPU」命名方式,本文也扩展了一些「xxP」方.转载 2020-08-26 16:35:16 · 3989 阅读 · 1 评论 -
目标检测-相关算法-rcnn、fast-rcnn、faster-rcnn、yolo、ssd
R-CNNSPPNetFast R-CNNFaster R-CNN原创 2020-08-17 14:47:53 · 89 阅读 · 0 评论 -
深度学习-相关指标-mAP
recall-召回率也叫查全率,预测的样本中实际的正样本数 / 所有的正样本数为了提高召回率,可以多预测。precision-准确率也叫查准率,预测的样本中实际的正样本数 / 预测的样本数为了提高准确率,可以少预测。P-R曲线每一类都可以根据recall和precision绘制P-R曲线AP就是该P-R曲线下的面积。mAP-平均准确率mAP就是所有类AP的平均值。mean Averge Precisi...原创 2020-08-17 14:24:39 · 459 阅读 · 0 评论 -
神经网络相关知识点介绍集锦-不定期更新
这篇文章总结的不错,建议阅读:https://www.cnblogs.com/skyfsm/p/8451834.html原创 2020-07-25 12:40:09 · 156 阅读 · 0 评论