机器学习、深度基础知识

目录

1.神经网络

1.1  1x1 卷积作用?

1.2  卷积核一定越大越好?

1.3 每层卷积只能用一种尺寸的卷积核?

1.4 卷积操作时必须同时考虑通道和区域吗?

1.5 采用宽卷积的好处有什么

1.6 图像反卷积

1.7 关于卷积填充和步长等计算

1.8 反卷积与棋盘效应

1.9 CNN 的参数经验设置

1.10 提高泛化能力的方法

1.11  CNN 在 CV 与 NLP 领域运用的联系与区别

1.12 BN

1.13 激活函数相关

1.14 dropout的原理和作用,以及模型预测时对dropout怎么处理

2.数据处理

2.1 .标准化、归一化、正则化

2.2 数据清理中,处理缺失值的方法

2.3 连续特征离散化

3.模型评价

3.1 PR曲线 ROC曲线的 计算及绘制

3.2 最小损失准则、N-P判决、最小最大损失准则、最小误判概率准则

3.3 损失函数

4. 其他

4.1 类别不均衡问题

4.2 极大似然与交叉熵有什么区别

4.4 梯度消失,梯度爆炸讲一下?怎么解决?

4.5 过拟合、欠拟合讲一下,怎么解决?

4.6 随机森林的随机性体现在哪里

4.7 皮尔森系数

4.8Zero-shot learning,Few-shot learnin

1.神经网络

1.1  1x1 卷积作用?

1×1卷积核理解 - 志光 - 博客园  https://www.cnblogs.com/tianqizhi/p/9665436.html

1.2  卷积核一定越大越好?

AlexNet 中用到了一些非常大的卷积核,比如 11×11、5×5 卷积核,之前人们的观念是,卷积核越大,receptive field(感受野)越大,看到的图片信息越多,因此获得的特征越好。虽说如此,但是大的卷积核会导致计算量的暴增,不利于模型深度的增加,计算性能也会降低。于是在 VGG(最早使用)、Inception 网络中,利用 2 个 3×3 卷积核的组合比 1 个 5×5 卷积核的效果更佳,同时参数量(3×3×2+1 VS 5×5×1+1)被降低,因此后来 3×3 卷积核被广泛应用在各种模型中。
       多个小的卷积核叠加使用要远比一个大的卷积核单独使用效果要好的多,在连通性不变的情况下,大大降低了参数个数和计算复杂度。当然,卷积核也不是越小越好,对于特别稀疏的数据比如下图所示,当使用比较小的卷积核的时候可能无法表示其特征,如果采用较大的卷积核则会导致复杂度极大的增加。总而言之,我们应该选择多个相对小的卷积核来进行卷积。

1.3 每层卷积只能用一种尺寸的卷积核?

传统的层叠式网络,基本上都是一个个卷积层的堆叠,每层只用一个尺寸的卷积核,例如VGG 结构中使用了大量的 3×3 卷积层。事实上,同一层 feature map 可以分别使用多个不同尺寸的卷积核,以获得不同尺度的特征,再把这些特征结合起来,得到的特征往往比使用单一卷积核的要好,谷歌的 GoogLeNet,或者说 Inception 系列的网络,就使用了多个卷积核的结构

1.4 卷积操作时必须同时考虑通道和区域吗?

『高性能模型』深度可分离卷积和MobileNet_v1 - 叠加态的猫 - 博客园

1.5 采用宽卷积的好处有什么

通过将输入边角的值纳入到滑窗中心进行计算,以便损失更少的信息。

1.6 图像反卷积

深度学习---图像卷积与反卷积-   https://blog.csdn.net/qq_38906523/article/details/80520950

1.7 关于卷积填充和步长等计算

卷积神经网络1.4-1.5Padding与卷积步长 -  https://www.cnblogs.com/cloud-ken/p/9338273.html

1.8 反卷积与棋盘效应

反卷积与棋盘效应 - https://blog.csdn.net/shadow_guo/article/details/52862161

1.9 CNN 的参数经验设置

deep learning(rnn、cnn)调参的经验? https://www.cnblogs.com/chernyaxon/p/5619761.html

1.10 提高泛化能力的方法

卷积神经网络(CNN)的参数优化方法   https://blog.csdn.net/u010900574/article/details/51992156

1.11  CNN 在 CV 与 NLP 领域运用的联系与区别

  如何理解CNN在CV与NLP领域运用的联系与区别? https://www.zhihu.com/question/37081277

1.12 BN

batch normalization 详解 -   https://blog.csdn.net/gbyy42299/article/details/80363332

关于BN防止过拟合的分析 - https://blog.csdn.net/qq_23150675/article/details/79452685

1.13 激活函数相关

   神经网络中常用的几种激活函数的理解 - https://www.cnblogs.com/lliuye/p/9486500.html

1.14 dropout的原理和作用,以及模型预测时对dropout怎么处理

   深度学习中Dropout原理解析 -   https://blog.csdn.net/program_developer/article/details/80737724

2.数据处理

2.1 .标准化、归一化、正则化

数据预处理——标准化、归一化、正则化 - https://www.cnblogs.com/simpleDi/p/9918306.html 

深入理解L1、L2正则化 - 知乎  https://zhuanlan.zhihu.com/p/29360425

 机器学习中为什么需要对数据进行归一化?  https://blog.csdn.net/code_lr/article/details/51438649

 深度学习中的归一化技术小结 -  https://blog.csdn.net/h2026966427/article/details/90513078

『计算机视觉』各种Normalization层辨析 -  https://www.cnblogs.com/hellcat/p/9735041.html

2.2 数据清理中,处理缺失值的方法

 数据清理中,处理缺失值的方法是   https://blog.csdn.net/w5688414/article/details/79346628

2.3 连续特征离散化

特征离散化特征交叉连续特征离散化的解释 https://blog.csdn.net/ccblogger/article/details/80180892

连续特征离散化--汇总 -  https://blog.csdn.net/wiborgite/article/details/84313793

3.模型评价

3.1 PR曲线 ROC曲线的 计算及绘制

PR曲线 ROC曲线的 计算及绘制 -  https://www.cnblogs.com/zle1992/p/6825076.html

3.2 最小损失准则、N-P判决、最小最大损失准则、最小误判概率准则

 (2章)最小错误概率贝叶斯 - 豆丁网  https://www.docin.com/p-987602135.html

最小误判概率准则判决  https://blog.csdn.net/DOUBLE121PIG/article/details/98944155

3.3 损失函数

          对比二次代价函数可以发现,代价函数的选择与激活函数有关。当输出神经元的激活函数是线性时例如,ReLU函数)二次代价函数是一种合适的选择;当输出神经元的激活函数是S型函数(例如sigmoid、tanh函数)时,选择交叉熵代价函数则比较合理。

4. 其他

4.1 类别不均衡问题

机器学习中如何处理不平衡数据? - 知乎  https://zhuanlan.zhihu.com/p/56960799

分类中解决类别不平衡问题 -  https://blog.csdn.net/program_developer/article/details/80287033

4.2 极大似然与交叉熵有什么区别

          交叉熵(Cross-Entropy) -  https://blog.csdn.net/rtygbwwwerr/article/details/50778098

4.4 梯度消失,梯度爆炸讲一下?怎么解决?

            欠拟合、过拟合、梯度爆炸、梯度消失等问题的原因与大概解决方法 - yangdashi888的博客 - CSDN博客  https://blog.csdn.net/yangdashi888/article/details/81080562

4.5 过拟合、欠拟合讲一下,怎么解决?

         欠拟合、过拟合及其解决方法 - https://www.cnblogs.com/alan666/p/8311809.html

4.6 随机森林的随机性体现在哪里

      随机森林的随机性体现在哪里? - https://blog.csdn.net/beyond_2016/article/details/80011403

4.7 皮尔森系数

  皮尔森相关系数-  https://blog.csdn.net/chao2016/article/details/80917579

  相关系数之皮尔森相关系数 -  https://www.cnblogs.com/renpfly/p/9555959.html4.8 TF_IDF

4.8Zero-shot learning,Few-shot learning

Zero-shot learning,Few-shot learning简单理解_BBBBBAAAAAi的博客-CSDN博客

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值