AI面试必备基础知识

最新推荐文章于 2024-06-21 11:16:40 发布

ROCCO#

最新推荐文章于 2024-06-21 11:16:40 发布

阅读量495

点赞数 3

分类专栏：总结归纳文章标签： AI 面试

本文链接：https://blog.csdn.net/shunzi1013238638/article/details/115399818

版权

总结归纳专栏收录该内容

10 篇文章 5 订阅

订阅专栏

损失函数

1. 0-1损失函数(zero-one loss)

2. 绝对值损失函数

3. log对数损失函数

4. 平方损失函数

5. 指数损失函数（exponential loss）

6. Hinge 损失函数

8. 交叉熵损失函数 (Cross-entropy loss function)

1*1卷积

1x1的卷积核可以进行降维或者升维，也就是通过控制卷积核（通道数）实现，这个可以帮助减少模型参数，也可以对不同特征进行尺寸的归一化；同时也可以用于不同channel上特征的融合。一个trick就是在降维的时候考虑结合传统的降维方式，如PCA的特征向量实现，这样效果也可以得到保证。

过拟合和欠拟合

数据增强的方法：

数据增强也叫数据扩增，意思是在不实质性的增加数据的情况下，让有限的数据产生等价于更多数据的价值。主要方法有：随机的翻转，旋转，裁剪，变形，缩放等各类操作，随机添加噪声、模糊、颜色变换、擦除、填充等等

正则化：l1 l2的作用和区别

Dropout在测试阶段如何处理

因为我们训练的时候会随机的丢弃一些神经元，但是预测的时候就没办法随机丢弃了。如果丢弃一些神经元，这会带来结果不稳定的问题，也就是给定一个测试数据，有时候输出a有时候输出b，结果不稳定，这是实际系统不能接受的，用户可能认为模型预测不准。那么一种”补偿“的方案就是每个神经元的权重都乘以一个p，这样在“总体上”使得测试数据和训练数据是大致一样的。比如一个神经元的输出是x，那么在训练的时候它有p的概率参与训练，(1-p)的概率丢弃，那么它输出的期望是px+(1-p)0=px。因此测试的时候把这个神经元的权重乘以p可以得到同样的期望。

为什么会出现梯度消失和梯度爆炸？

初始化的网络权值 $\left | \omega \right |$ 通常都小于1，因此，当层数增多时，小于0的值不断相乘，最后就导致梯度消失的情况出现。同理，梯度爆炸的问题也就很明显了，就是当权值 $\left | \omega \right |$ 过大时，导致 $\left | {\sigma}'\left ( z \right ) \omega \right |>1$ ，最后大于1的值不断相乘，就会产生梯度爆炸。

解决办法

1 换用Relu、LeakyRelu、Elu等激活函数

2 BatchNormalization

3 ResNet残差结构

4 LSTM结构

机器学习性能评估指标

这里写图片描述

1、准确率（Accuracy）

$ACC = \frac{TP+TN}{TP+TN+FP+FN}$

2、精确率、精度（Precision）

$Precision = \frac{TP}{TP+FP}$

3、召回率（recall）

$recall = \frac{TP}{TP+FN}$

4、F-Score

$F-Score = \frac{2*Precision*recall}{Precision+recall}$

softmax

将一些输入映射为0-1之间的实数，并且归一化保证和为1

ROCCO#

关注

3
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
AI面试必备基础知识

损失函数 1. 0-1损失函数(zero-one loss)2.绝对值损失函数3.log对数损失函数4.平方损失函数5.指数损失函数（exponential loss）6.Hinge 损失函数8.交叉熵损失函数 (Cross-entropy loss function) 1*1卷积 1x1的卷积核可以进行降维或者升维，也就是通过控制卷积核（通道数）实现，这个可以帮助减少模型参数，也可以对不同特征进行尺寸的归一化；同时也可以用于不同channe...
复制链接

扫一扫