深度学习理论相关

已于 2022-10-10 21:06:01 修改
阅读量252 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习 机器学习 人工智能
于 2020-05-08 10:22:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MaYingColdPlay/article/details/105989425
版权

深度学习岗位面试问题整理笔记 - 知乎

BAT机器学习面试1000题系列（一） - 知乎

1.梯度消失和梯度爆炸

根源是神经网络的天然属性决定的：反向传播，链式求导。

详解机器学习中的梯度消失、爆炸原因及其解决方法_Double_V_的博客-CSDN博客_梯度消失

对于梯度消失和梯度爆炸的理解 - 禅在心中 - 博客园

2.BN的作用

1.bn本质上是为了解决梯度消失和梯度爆炸问题。

2.通过对参数的规范，也可以达到防止过拟合的目的

基础 | batchnorm原理及代码详解_Double_V_的博客-CSDN博客_batchnorm公式

3.如何解决过拟合问题

【算法岗必看】深度学习高频面试真题

常用的解决方法：

1.从数据层面，数据集扩增：获取更多的数据、原有数据加随机噪声、重采样

2.特征层面，尽量减少高维硬交叉，通过构造更粗粒度的特征叉乘来增强泛化性。

对出现频率低的id做低频过滤，训练的时候将这部分的特征embedding置位0（或者将样本的ID置为0）推荐系统或者ctr预估中，如何区分或者如何定义高频低频特征?有通用的阈值区分吗？ - 知乎

详解 Wide & Deep 结构背后的动机 - 知乎

3.正则化，正则化可以限制模型的复杂度，l1 正则和 l2正则，避免参数过大

4.改善网络结构，dropout随机失活，BN批量归一化

5.做交叉验证

6.树模型的话做一些剪枝操作

3.常用的优化器

adam优化器。

动量，学习率自动调整。

使用动量(Momentum)的随机梯度下降

动量累计:

4.din如何解决特征稀疏问题

NorthFish北海有鱼
关注
专栏目录
深度学习理论（一）
缘分天空，美丽的梦的博客
02-22 1013
本文主要描述在学习《深度学习理论与实践》这本书过程中的笔记记录以及个人见解，供有相同爱好和相关研究人员参考和学习，由于本人了解不是很深入，所写的见解和笔记记录可能有误，请留言指正，共同学习。本篇文章共分为两个部分：深度学习概述和神经网络简述。一、深度学习概述人工智能（artificial intelligen ，AI）是计算机应用的一个重要分支，是通过让计算机模拟人的智慧，从而实现...
深度学习理论
zhangweijiqn的专栏
11-17 1714
书籍： 《神经网络与深度学习》讲义，邱锡鹏 《Neural Networks and Deep Learning》:http://neuralnetworksanddeeplearning.com/ CS231n Convolutional Neural Networks for Visual Recognition:http://cs231n.github.io/ 中文版
深度学习理论基础
银晗的学习博客
11-02 2731
稠密网络主要由2部分构成：稠密块（dense block）：定义如何连接输入和输出过渡层（transition layer）： 控制通道数量，使其不会太复杂。
深度学习相关基础理论
Reflect2021
12-15 2507
反向传播与梯度下降算法 在深度学习中最重要的算法莫过于反向传播算法（Back Propagation，BP）和梯度下降算法（Gradient Descent，GD），从宏观上理解深层神经网络中的这两个算法，前项传播经激活函数输入到后一层，在最后一层计算误差，经反向传播将误差传递至前一层，然后在前一层利用梯度下降算法进行参数优化，再利用反向传播将误差向前传递，以此类推。 梯度下降算法主要目的是通过迭代使得目标函数收敛到最小值或极小值，梯度下降实际上是微分过程，梯度是对每个变量进行微分，具体计算如下： 层
深度学习理论与实践--资源下载
10-29
李理老师的“深度学习理论与实践”课程资源，为初学者提供了宝贵的实践机会，无需逐字阅读理论，而是通过实际运行代码来加深理解。以下是基于该资源包的一些关键知识点的详细介绍： 1. **神经网络基础**：深度学习...
基于深度学习理论的初中化学作业设计策略探析.pdf
08-19
深度学习理论是一种教育理念，强调在理解的基础上，学习者能够批判性地接受新思想和事实，并将它们融入原有的认知结构中，实现知识的迁移和应用。在初中化学作业设计中，深度学习理论提供了重要的指导原则。 首先，...
基于深度学习理论的化学分类观与微粒观教学——以“酸碱”相关性质为例.pdf
08-18
《基于深度学习理论的化学分类观与微粒观教学——以“酸碱”相关性质为例》这篇文章探讨了如何运用深度学习理论来改进化学教学，特别是针对"酸碱"性质的教学。深度学习理论强调的是学生在教师引导下的深度参与和经验...
基于深度学习理论的化学概念教学——以“溶解度”相关概念为例.pdf
08-18
"基于深度学习理论的化学概念教学——以“溶解度”相关概念为例" 本文旨在探讨基于深度学习理论的化学概念教学，以“溶解度”相关概念为例，展示如何利用深度学习理论指导化学概念教学，提高学生对化学概念的理解和...
基于深度学习理论的机械装备大数据健康监测方法.pdf
08-19
本文主要介绍了一种基于深度学习理论的机械装备大数据健康监测方法。这一方法的提出，是为了解决随着机械装备朝着高速、高精、高效方向发展过程中，如何确保这些装备的健康运行而产生的新问题。随着健康监测系统采集...
深度学习理论介绍
最新发布
Andy_shenzl的博客
01-19 1818
深度学习首先是一种机器学习。深度学习的基础，叫做神经网络，这本身就是一种机器学习算法。深度神经网络（Deep Neural Networks， 以下简称DNN）是深度学习的基础。代表案例：多层感知机（Multi-Layer perceptron,MLP）
深度学习理论篇
m0_63131662的博客
08-31 1008
深度学习基础理论知识
关于深度学习理论和架构的最新综述(part1)
qq_16197337的博客
04-02 4412
关于深度学习理论和架构的最新综述摘要关键词 摘要 关键词 深度学习（deep learning，DL）; 卷积神经网络（convolutional neural network，CNN）; 循环神经网络（recurrent neural network，RNN）; 自动编码器（auto-encoder，AE）; 受限玻尔兹曼机（restricted Boltzmann machine，RBM）; ...
深度学习理论总结（1）
zx6571的博客
08-23 2894
0.前言 为了在暑假能更好的发展自己，鉴于对深度学习的浓厚兴趣，楼主开始学习深度学习的相关知识。本系列内容是在楼主学习吴恩达老师的深度学习课程后进行的总结，使用的程序软件为python。如有纰漏还请各位大佬指出，我将虚心接受。 1.深度学习概念 深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligenc...
深度学习基础理论（学习中持续更新）
weixin_43244470的博客
03-27 541
1、导数、偏导数、方向导数、梯度的概念 **导数：**导数反映的是函数y=f(x)在某一点处沿x轴正方向的变化率。 **偏导数：**在多元函数中，偏导数指的是函数y(x1,x2,…,xn)沿某一坐标轴(x1,x2,…,xn)正方向的变化率。 **方向导数：**导数和偏导数都是沿坐标轴正方向的变化率。那么当我们讨论函数沿任意方向的变化率时，也就引出了方向导数的定义，即：某一点在某一趋近方向上的导数值...
深度学习理论向
tonydandelion2014的博客
03-29 1259
记录深度学习的一些理论 为啥要用ReLU函数 ReLU函数如下图所示： ReLU函数能够解决梯度爆炸和梯度消失的问题，因为ReLU函数在x>0的时候，导数为1，在梯度传导过程中是不会对梯度大小造成任何数值上的影响的。 啥是SoftMax？ softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！假设我们有一...
深度学习理论总结（2）
zx6571的博客
08-23 691
1.卷积神经网络概念 卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一 。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（...
深度学习基础理论篇一
weixin_44438120的博客
08-02 720
1.深度学习中为什么使用卷积 和只用全连接层相比，卷积层的两个主要优势在于：参数共享和稀疏连接。
深度学习：理论与实践
"《深度学习》是一本由领域专家编写的关于深度学习的权威书籍，...《深度学习》这本书是深度学习领域的一本全面教材，它不仅提供了理论背景，也强调了实践应用，为学习者提供了一个深入理解和应用深度学习的强大平台。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值