DNN, DL Updates

最新推荐文章于 2024-09-11 06:00:00 发布
最新推荐文章于 2024-09-11 06:00:00 发布
阅读量411 收藏
点赞数
分类专栏： DeepLearning备忘 PRML备忘 算法备忘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/windtalkersm/article/details/79702798
版权
本文概述了机器学习领域的几个关键进展，包括激活函数的更新、分类器的发展、以及在分类网络、目标检测、图像生成等多个应用场景的具体技术革新。深度学习在逼近性质、generalization的bound等方面的研究也得到了介绍。
摘要由CSDN通过智能技术生成

机器学习的理论进展到了什么程度？

  • 首先从传统的神经元层面来说，使用了几十年的Sigmoid激活函数被ReLU、PReLU这样的激活函数代替，部分解决了训练到两端梯度变小导致训练缓慢甚至梯度消失的问题；权重的初始化，除了原来的均匀方法、高斯方法，前几年出现了xavier、msra等方法，这些更适合深度网络。当然这些算是小的改进，最近基本很少这方面的文章了。
  • 其次是分类器层面，发展出了Softmax多分类器，这个是用交叉熵推导出来的，有严格数学基础，而且可以多个类一次完成，成了大部分深度学习网络的标配。
  • 然后是从应用层面：
    • (1) 分类网络：GoogLeNet从v1到v4发展了4个版本，微软的ResNet也有好几个版本了，这两个网络都到了几百层，GoogLeNetv4不但有v3的不同尺度不同方向的卷积，还结合ResNet的残差传播，一般的分类问题做到95%+不是什么问题了。
    • (2) 目标检测：短短几年经历了RCNN->fast RCNN->faster RCNN->YOLO->SSD的发展，每一层发展都可以说是革命性的，对应320-640这样的图像，识别50像素以上的目标，按对象数量计算（不是像素）的识别准确率和召回率做到95%+不是障碍。
    • (3) 图像生成：得益于GAN的发展，如果训练好一个生成器，比如生成手写字体、图像生成卡通、卡通生成风景、表情生成、一种动物生成另外一种、语音生成等等都不是问题，可以非常逼真。（但是，为毛好些问题GAN训练不收敛，训练不出来生成器….）
    • (4) 图像检索：看看以图搜图的各种软件，从单网、双子网（Siamese）、三子网（Triplet）到多通道网络等等，各种架构都有。
    • (5) 机器翻译：看看谷歌翻译最近几年的变化。
    • (6) 时间序列的语义网络：如自然语言处理、视频序列语义等等。
  • 深度学习的理论是，逼近性质，generalization的bound，优化性质，复杂度/global optimality
windtalkersm
关注
专栏目录
DL之DNN优化技术：GD、SGD、Momentum、NAG、Ada系列、RMSProp各种代码实现之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-31 5818
DL之DNN优化技术：GD、SGD、Momentum、NAG、Ada系列、RMSProp各种代码实现之详细攻略 相关文章：An overview of gradient descent optimization algorithmsDL之DNN优化技术：神经网络算法简介之GD/SGD算法(BP的梯度下降算法)的简介、理解、代码实现、SGD缺点及改进(Momentum/NAG/Ada系列/R...
DL之CNN：卷积神经网络算法应用之卷积神经网络实践技巧(DA/DP/WI/BN/H/O/R)、优化技术经验之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
07-25 1万+
DL之CNN：卷积神经网络算法应用之卷积神经网络实践技巧(DA/DP/WI/BN/Hyperparameter/Overfitting/Regularization)、优化技术经验之详细攻略 目录 卷积神经网络实践技巧 数据增强(Data Augmentation) 数据预处理(Data Preprocessing) 批次归一化(Batch Normalization) 参数初始化(W...
DNN-深度神经网络
2301_78731684的博客
12-09 3444
深度神经网络（DNN）是一种多层神经网络，通过将多个神经元连接在一起，形成一种深度结构。DNN可以用于处理各种类型的数据，包括图像、文本、语音等。在深度神经网络中，隐含层的数量和每层的神经元数量可以视具体任务和数据类型而定。DNN的训练过程通常采用反向传播算法和梯度下降优化方法，通过不断地调整神经网络的参数，以最小化预测误差和损失函数。深度神经网络具有多个非线性映射的特征变换，可以对高度复杂的函数进行拟合。相比浅层建模方式，深层建模能更细致高效的表示实际的复杂非线性问题。
dnn
weixin_34195546的博客
05-01 62
http://magazine.cnblogs.com/200502/OpenSource/1.htm http://www.dnnchina.net/ http://magazine.cnblogs.com/200503/LanguagesAndPlatforms/l1.htm 转载于:https://www.cnblogs.com/jetz/archive/2005/05/01/...
【深度学习】神经网络-怎么分清DNN、CNN、RNN？
最新发布
木亦汐丫
09-11 1395
最“大”的概念是人工神经网络（Artificial Neural Network, ANN），它是较为广泛的术语，通常指的是一类模拟生物神经网络的数学模型，其中包括神经元、权重和连接。在这个术语下，可以包括深度神经网络（DNN）、卷积神经网络（CNN）、循环神经网络（RNN）等不同类型的网络。
DNN(DotNetNuke)研究手札系列2－背景、现状
weixin_33955681的博客
09-01 131
首先，请不要忙着看这篇文章，尝试去官方网站下载一个最新版本的来安装看看，仔细看看安装说明文档、各种技术的白皮书，DNN做得很全很仔细，连版本代码差异都精细到每行代码。 为什么不去仔细研究呢？ DNN到底是啥来头？DNN可以追溯到ASP.NET Starter Kits的ASP.NET Portal，这个东西仍然可以在asp.net网站中找到。相关的文章我之前也写过，请自行搜索。AS...
DNN
kylin_learn的博客
12-31 909
DNN(深度神经网络)
云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python
05-09 2万+
深度神经网络（Deep Neural Networks， 以下简称DNN） 神经网络发展 第一代神经网络又称为感知器，由科学家Frank Rosenblatt发明于1950至1960年代，它的算法只有两层，输入层输出层，，主要使用的是一种叫做sigmoid神经元（sigmoid neuron）的神经元模型，主要是线性结构。它不能解决线性不可分的问题，如异或操作。 为了解决第一代神经网络的缺陷，在1980年左右提出第二代神经网络多层感知器（MLP）。和第一代神经网络相比，第二代在输入输出层之间有增加了
Spark+AI Summit 2019 PPT 下载[共124个]
过往记忆大数据
09-21 2192
为期三天的 SPARK + AI SUMMIT 2019 于 2019年04月23日-25日在旧金山（San Francisco）进行。数据和 AI 是需要结合的，而Spark能够处理海量数据的分析，将Spark和 AI 进行结合，无疑会带来更好的产品。作为大数据领域的顶级会议，Spark+AI Summit 2019 吸引了全球大量技术大咖参会，而且 Spark+AI Summit 越做...
DeepLearningToolBox学习——NN(neural network)
susandebug
01-25 1万+
经典的DeepLearningToolBox，将里面的模型和Andrew Ng的UFLDL tutorial 对应学习，收获不小。 下载地址：DeepLearningToolBox 神经网络模型，层与层之间全连接。 1. test_example_NN %% ex1 vanilla neural net rand('state',0) nn = nnsetup([784 1
Tracker algorithm learning
qq_40239482的博客
01-09 5239
Object Tracking using OpenCV (C++/Python) February 13, 2017 By Satya Mallick In this tutorial, we will learn about OpenCV tracking API that was introduced in OpenCV 3.0. We will learn how and when
深度神经网络（DNN）
09-06
个人从网络收集资料，本资料共分为九个部分介绍深度神经网络
DNN(Deep-Learning Neural Network)
qq_50974223的博客
04-15 371
DNN(Deep-Learning Neural Network) 接下来介绍比较常见的全连接层网络（fully-connected feedfoward nerural network） 名词解释 首先介绍一下神经网络的基本架构，以一个神经元为例 输入是一个向量，权重（weights）也是一个矩阵 把两个矩阵进行相乘，最后加上偏差（bias），即w1 * x1 + w2 * x2 + b 神经元里面会有一个激活函数（activation），比如sigmoid,Relu等等，然后将这个结果当作未知量输入
深度神经网络(DNN)
meng_shangjy的博客
04-17 5440
深度神经网络（Deep Neural Networks， 以下简称DNN）是深度学习的基础，而要理解DNN，首先我们要理解DNN模型，下面我们就对DNN的模型与前向传播算法做一个总结。1 从感知机到神经网络 感知机的模型，它是一个有若干输入和一个输出的模型，如下图:输出和输入之间学习到一个线性关系，得到中间输出结果：接着是一个神经元激活函数：从而得到想要的结果1或者-1. ...
细说深度学习之TensorFlow
weixin_45625815的博客
11-22 1144
DNN（深度神经网络算法）现在是AI社区的流行词。最近，DNN 在许多数据科学竞赛/Kaggle 竞赛中获得了多次冠军。 自从 1962 年 Rosenblat 提出感知机（Perceptron）以来，DNN 的概念就已经出现了，而自 Rumelhart、Hinton 和 Williams 在 1986 年发现了梯度下降算法后，DNN 的概念就变得可行了。直到最近 DNN 才成为全世界 AI/ML...
DL：基于神经网络的深度学习模型的总概览简介(DNN/CNN/RNN等)、各种网络结构对比、案例应用对比之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
02-21 1万+
​ DL：基于神经网络的深度学习模型的总概览简介(DNN/CNN/RNN等)、各种网络结构对比、案例应用对比之详细攻略 目录 神经网络所有模型的简介(概览) 相关文章 DL：深度学习算法(神经网络模型集合)概览之《THE NEURAL NETWORK ZOO》的中文解释和感悟(一) DL：深度学习算法(神经网络模型集合)概览之《THE NEURAL NETWORK ZOO》的中文解释和感悟(二) DL：深度学习算法(神经网络模型集合)概览之《THE NEURAL NETWORK ZOO》的中文解释
DNN（全连接神经网络）
热门推荐
m0_63167598的博客
03-16 3万+
一. DNN网络一般拥有三层 1.输入层 2.隐藏层 3.输出层 简单网络如下： 二.正向传播 从第二层开始，每一个神经元都会获得它上一层所有神经元的结果。即每一个 y = wx + b的值。 具体分析如下： 如此下去就会非常可能出现了一个问题------就是越靠后的神经元获得的y值会非常大，试想一下，如果这个数远远大于它前面神经元的值，前面神经元对整个网络的表达就显得毫无意义。所以我们在每创建一层网络时就要多“y”进行一次约束。 我们有很多选择，但最好的方法就是运用Sig...
DNN5皮肤开发完全指南
"DNN5皮肤开发手册 - 详述如何在DotNetNuke 05.00.00及更高版本中创建皮肤，包括所有使用的类和皮肤对象的详细信息。" DotNetNuke（DNN）是一个流行的开源内容管理系统（CMS），它允许用户通过用户友好的界面创建...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值