深度学习
文章平均质量分 95
CA727
这个作者很懒,什么都没留下…
展开
-
一文读懂深度学习中的损失函数(Loss Function):回归损失、二分类损失和多分类损失
机器学习中的所有算法都依赖于最小化或最大化一个函数,我们称之为损失函数(loss function),或“目标函数”、“代价函数”。损失函数是衡量预测模型在预测预期结果方面做得有多好。求函数最小点最常用的方法是梯度下降法。损失函数就像起伏的山,梯度下降就像从山上滑下来到达最底部的点。没有一个单一的损失函数可以完美适用于所有类型的数据。它取决于许多因素,包括异常值的存在、机器学习算法的选择、梯度下降的时间效率等等。本文的目的是了解不同的损失函数,以及它们的原理。损失函数大致可分为两类:分类损失和回归损失,翻译 2020-07-27 19:32:18 · 15404 阅读 · 2 评论 -
神经网络和反向传播算法的详细解释,深度学习基础
本文通过以下8个部分来详细解释神经网络的一些基本概念:模型表示(Model Representation)模型的数学表示(Model Representation Mathematics)激活函数(Activation Functions)偏置节点(Bias Node)损失函数(Cost Function)前向传播计算(Forward Propagation Calculation...翻译 2020-02-22 14:39:57 · 1313 阅读 · 0 评论 -
神经网络中正则化方法的快速指南
L1 / L2Weight DecayDropoutBatch NormalizationData AugmentationEarly Stopping下面的故事听起来很熟悉。想象一下,我们必须用经典的机器学习算法来解决数据问题。一种典型的方法是通过降维来提高模型的性能并减少其训练时间。如今,在使用深度学习时,优化过程的繁重任务已被留在后台,尤其是由于GPU的出现以及对它们的便...翻译 2020-02-10 12:00:45 · 2114 阅读 · 0 评论 -
改善深度学习算法:优化(Optimization)与正则化(Regularization)
实现机器学习和深度学习算法与编写任何其他类型的软件程序都不同。虽然大多数代码都经历了传统的代码编写、编译/解释、测试和执行这样的生命周期,但是深度学习模型却始终经历着测试和改进过程的永无止境的生命周期。大多数人通常将生命周期的这一部分称为优化(Optimization),但实际上,它还包括深度学习理论的另一个重要领域:正则化(Regularization)。为了了解优化和正则化在深度学习模型中的作...翻译 2020-02-10 10:17:15 · 1477 阅读 · 0 评论 -
局部响应归一化(Local Response Normalization,LRN)和批量归一化(Batch Normalization,BN)的区别
为什么要归一化?归一化已成为深度神经网络中的一个重要步骤,它可以弥补ReLU、ELU等激活函数无界性的问题。有了这些激活函数,输出层就不会被限制在一个有限的范围内(比如tanh的[−1,1][-1,1][−1,1]),而是可以根据训练需要尽可能高地增长。为了限制无界激活函数使其不增加输出层的值,需要在激活函数之前进行归一化。在深度神经网络中有两种常用的归一化技术,但常被初学者所误解。在本教程中,...翻译 2020-02-09 20:05:35 · 2899 阅读 · 0 评论 -
饱和非线性(saturating nonlinearity)和非饱和非线性(non-saturating nonlinearity)
在AlexNet论文《 ImageNet Classification with Deep Convolutional Neural Networks》第3节中提到了饱和非线性(saturating nonlinearity)和非饱和非线性(non-saturating nonlinearity)的概念,这里做一个解释。定义直观定义:一个饱和的激活函数会将输出结果压缩到有限的区间。如果函数...原创 2020-02-09 11:13:40 · 4000 阅读 · 0 评论 -
神经网络的简单介绍
人工神经网络(Artificial Neural Network,ANN)是一种计算模型,其灵感来自于人类大脑中生物神经网络处理信息的方式。由于在语音识别、计算机视觉和文本处理方面取得了许多突破性的成果,人工神经网络在机器学习研究和工业领域产生了许多令人兴奋的成果。在这篇博文中,我们将尝试去理解一种叫做多层感知机(Multi Layer Perceptron)的特殊类型的人工神经网络。单个神经元...翻译 2020-02-07 23:26:45 · 2723 阅读 · 0 评论 -
卷积神经网络的直观解释,卷积神经网络基础
什么是卷积神经网络?它们为什么重要?卷积神经网络(ConvNets或CNNs)是一类在图像识别和分类等领域非常有效的神经网络。除了增强机器人和自动驾驶汽车的视觉功能外,ConvNets还成功地被用于人脸、物体和交通标志的识别。Figure 1: 图片来源:[1]在上面的图1中,ConvNet能够识别场景,系统能够提示相关的说明(“一个足球运动员正在踢足球”),而图2显示了一个ConvNet...翻译 2020-02-07 18:53:46 · 1483 阅读 · 0 评论 -
【深度学习】Windows 10下配置MXNet环境
1 CPU版本1.1 安装Miniconda根据操作系统下载并安装Miniconda,下载链接,在安装过程中需要勾选“Add Anaconda to the system PATH environment variable”选项。1.2 下载本书(《动手学深度学习》)代码压缩包下载并解压,下载链接。1.3 使⽤conda创建虚拟(运⾏)环境conda和pip默认使⽤国外站点来下载软件,...原创 2020-02-02 18:23:39 · 626 阅读 · 0 评论 -
【TensorFlow】Keras机器学习基础知识-使用TF.Hub进行文本分类
此笔记本(notebook)使用评论文本将影评分为积极(positive)或消极(nagetive)两类。这是一个二元(binary)或者二分类问题,一种重要且应用广泛的机器学习问题。本教程演示了使用 Tensorflow Hub 和 Keras 进行迁移学习的基本应用。我们将使用来源于网络电影数据库(Internet Movie Database)的 IMDB 数据集(IMDB datase...转载 2019-12-07 21:46:45 · 1045 阅读 · 0 评论 -
【TensorFlow】Keras机器学习基础知识-基本图像分类
本节使用tf.keras来训练一个神经网络模型,用于分类衣物图像(如运动鞋和衬衫),它是一个在TensorFlow中构建和训练模型的高级API。from __future__ import absolute_import, division, print_function, unicode_literals# TensorFlow and tf.kerasimport tensorflow...翻译 2019-12-07 21:08:42 · 1371 阅读 · 0 评论