![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
Ma Sizhou
低级的欲望,放纵即可获得;高级的欲望,克制才能达到。
展开
-
CUDA、CUDNN、CUDA Driver、CUDA Toolkit、NCVV的区别?
我的课题是关于深度学习的,需要在GPU上跑程序,但是对于标题的名词概念有些模糊,所以觉得有必要写一篇文章当做笔记供之后参考。1、什么是CUDA?CUDA 英文全称是Compute Unified Device Architecture,是一种由NVIDIA推出的通用并行计算架构,该架构使GPU能够解决复杂的计算问题。2、什么是CUDNN?CUDNN 是用于深度神经网络的GPU加速库。它强调性能、易用性和低内存开销。可以集成到高级的机器学习框架中,如谷歌的Tensorflow、加州大学伯克利分校的.原创 2020-07-29 20:38:10 · 3778 阅读 · 0 评论 -
分类问题常用的损失函数及pytorch实现
前言:分类问题和回归问题是监督学习的两大种类,关于回归使用的损失函数: 点击链接.而分类问题一般分为二分类和多分类,下面我们看看在分类问题中使用的损失函数。目录1、结论2、二分类问题的交叉熵损失函数1、结论(1)分类任务损失函数用交叉熵(2)分类又分为2分类+多分类:2分类最后一层输出接一个sigmod保证输出在(0,1)范围内,多分类最后一层输出N(分类个数)个值,这N个值过一下Softmax,相当于是归一化一下到( 0, 1) 区间内。2、二分类问题的交叉熵损失函数在二分.原创 2020-07-02 10:47:18 · 2775 阅读 · 0 评论 -
PyTorch学习笔记——(3)深度学习中的激活函数总结以及pytorch实现
目录一、简介二、常用激活函数1、ReLU2、Sigmoid3、Tanh4、LeakyReLU5、PReLU6、RReLU7、ELU三、参考文献一、简介在神经网络中,激活函数决定一个节点从一组给定输入的输出,而非线性激活函数允许网络复制复杂的非线性行为。由于大多数神经网络使用某种形式的梯度下降进行优化,激活函数必须是可微的(或者至少是几乎完全可微的)。此外,复杂的激活函数可能会产生关于渐变消失和爆炸的问题。因此,神经网络倾向于使用一些选定的激活函数(identity, sigmoid, ReLU和它们的变原创 2020-06-30 11:42:10 · 1385 阅读 · 0 评论 -
scikit-learn实现回归问题的评估指标:MSE,MAE,,MAPE,RMSE,,R-Squared,SMAPE
前言:分类问题的评价指标是准确率,而回归问题的评价指标就是MAE, MAPE, MSE, RMSE, R2_Score,SMAPE这几种误差。当然回归问题就是预测。现在假设:在此基础上,先看看这几种误差具体的公式,想看scikit-learn实现,直接最后。目录1、MSE 均方误差(Mean Square Error)2、RMSE 均方根误差(Root Mean Square Error)3、MAE 平均绝对误差(Mean Absolute Error)4、MAPE 平均绝对百分比误差(Mea.原创 2020-06-28 19:53:03 · 20530 阅读 · 4 评论 -
对LSTM的通俗理解
目录0. 从RNN说起1. 普通RNN2. LSTM2.1 什么是LSTM2.2 深入LSTM结构3. 总结转载地址: link.0. 从RNN说起循环神经网络(Recurrent Neural Network,RNN)是一种用于处理序列数据的神经网络。相比一般的神经网络来说,他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义,RNN就能够很好地解决这类问题。1. 普通RNN先简单介绍一下一般的RNN。其主要形式如下图所示(图片均来自台大李宏毅教授的PPT)转载 2020-06-25 11:03:56 · 7441 阅读 · 0 评论 -
对epoch,batch size, iterations的理解
首先要明确这几个都是超参数,也就是要人为的调。目录一、概念1、Epoch2、Batch Size3、iterations二、Epoch、Batch Size出现的原因1、Epoch2、Batch Size三、如何选取合适的Epoch、Batch Size1、Epoch的选取2、Batch Size的选取四、 问题一、概念1、Epochone epoch:所有的训练样本完成一次Forword运算以及一次BP运算。epoch:使用训练集的全部数据对模型进行一次完整训练。2、Batch Size.原创 2020-06-23 11:09:14 · 1012 阅读 · 0 评论 -
深度学习中的注意力机制
最近在看图注意力网络时,看到有人很通俗的写出了深度学习中的注意力机制,为以后学习打下基础,下面贴出原文地址和原文:原文地址最近两年,注意力模型(Attention Model)被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中,是深度学习技术中最值得关注与深入了解的核心技术之一。本文以机器翻译为例,深入浅出地介绍了深度学习中注意力机制的原理及关键计算机制,同时也抽...转载 2020-04-13 09:19:43 · 998 阅读 · 0 评论