八股文——机器学习基础激活函数

已于 2024-06-11 21:09:50 修改
阅读量240 收藏 3
点赞数 3
文章标签： 机器学习 人工智能
于 2024-03-22 00:01:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangziling123456/article/details/136922726
版权

常见的激活函数

为什么说relu是非线性激活函数？

1.relu是分段函数

2.relu本质上是分段线性激活函数，但可以不断分段逼近非线性激活函数

当该网络足够复杂时，理论上relu可以逼近任意非线性激活函数

激活函数有什么性质？

1.非线性：当激活函数是非线性的，一个两层的神经网络就可以逼近所有函数。

2.可微性：当优化函数是基于梯度的时候，都体现该性质

3.单调性：对于单层网络而言，能保证时凸函数

4.f(x)≈x：激活函数满足这个形式时，如果参数初始化是随机的较小值，训练将会很高效；如果不满足，就需要详细设置初始值

5.输出值的范围：如果有限，基于梯度的优化方法会更稳定；当输出无限，模型的训练会更高效

wangziling123456
关注
【RePo】机器学习八股文
0x00
09-11 1万+
机器学习八股文
【秋招】算法岗的八股文之机器学习
qq_42312574的博客
08-02 8687
为了便于后续的下游任务中特征距离计算，为了消除特征间单位和尺度差异的影响，以对每维特征同等看待，需要对特征进行归一化。余弦相似度：计算两个向量之间夹角的余弦值，余弦值接近1说明夹角趋近0，表示两个向量相似。表示激活函数，【激活函数是用来加入非线性因素的，提高神经网络对模型的表达能力，解决线性模型所不能解决的问题。模型假设：自变量的变化对因变量的影响是通过一个逻辑函数（sigmoid函数）体现的。这个模型中包含了许多不同的网络模型，以下将根据他们之间的应用侧重来浅显的解析概念。的代价函数是交叉熵函数。
【13】机器学习算法面试八股
weixin_44125042的博客
07-16 776
空洞卷积或者膨胀卷积是在标准的卷积核里注入空洞，以此来增加感受野。相比原来的正常convolution，dilated convolution 多了一个超参数称之为 dilation rate（空洞率）优点是在保持同等计算量的情况下可以扩大感受野，缺点是存在网格效应，丢失局部像素信息。。感受野用来表示网络内部的不同神经元对原图像的感受范围的大小。神经元感受野的值越大表示其能接触到的原始图像范围就越大，也意味着它可能蕴含更为全局，语义层次更高的特征；相反，值越小则表示其所包含的特征越趋向局部和细节。
机器学习\深度学习面试八股记录
最新发布
m0_71203580的博客
08-30 1511
本文记录总结了博主在面试中遇到的常见八股拷打，供大家参考。不出意外本文会持续更新，欢迎大家关注和指点。打了*的是频繁出现，且我认为多数方向和项目都会涉及到的考点。
机器学习八股文
weixin_43570470的博客
08-09 2927
机器学习面试笔试求职必背
【5】机器学习算法面试八股
weixin_44125042的博客
07-15 786
若卷积神将网络的上一层有N个卷积核,则对应的通道数也为N。设群数目为M,在进行卷积操作的时候,将通道分成M份,每个group对应N/M个通道,然后每个group卷积完成后输出叠在一起,作为当前层的输出通道。
【4】机器学习算法面试八股
weixin_44125042的博客
07-15 659
通过对训练数据样本以及属性进行有放回的抽样（针对某一个属性随机选择样本）这里有两种，一种是每次都是有放回的采样，有些样本是重复的，组成和原始数据集样本个数一样的数据集；另外一种是不放回的抽样，抽取出大约60%的训练信息。由此生成一颗CART树，剩下的样本信息作为袋外数据，用来当作验证集计算袋外误差测试模型；把抽取出的样本信息再放回到原数据集中，再重新抽取一组训练信息，再以此训练数据集生成一颗CART树。这样依次生成多颗CART树，多颗树组成森林，并且他们的生成都是通过随机采样的训练数据生成，因此叫随机森林。
【10】机器学习算法面试八股
weixin_44125042的博客
07-15 321
第一步：生成Rand1()函数，等概率产生0和1。第二步：计算整数 n 的二进制表示所拥有的位数 k， k = 1 + l o g 2 n k = 1 +log_2n k=1+log2n第三步：调用ｋ次 Rand1() 产生随机数。
算法面试八股文『 基础知识篇 』
SG_teresa's blog
01-31 2847
个人整理的算法面试基础知识八股文，内容较详细。
飞桨PaddlePaddle-百度架构师手把手带你零基础实践深度学习——21日学习总结
Fiona_Luna的博客
08-26 1477
飞桨PaddlePaddle-百度架构师手把手带你零基础实践深度学习——21日学习打卡 写在前面的话 纯新手小白，第一次接触深度学习方面的应用。感谢飞桨提供的这次学习机会。之前有学习到深度学习的理论方面的知识，但是到实践，总觉得无从下手，一筹莫展。刚好被朋友推荐一起学习该门课程，感觉受益匪浅。一个好的入门老师可以带来无限的可能。感谢平台提供的机会，感谢几位老师的教导和经验分享。 PS：本人自己更喜欢纸质的笔记，所以可能会上传大量图片。QAQ 第一章 Python基础 python作为一种“神奇的”编程语言，
学习笔记：深度学习（4）——卷积神经网络（CNN）PyTorch实践篇
Morganfs的博客
04-14 3864
小白PyTorch超快上手，采用CNN做了一个手写数字识别，一个MINST手写数字预测，以及尝试了Kaggle的Spaceship Titanic案例。
北京大学 人工智能实践：Tensorflow笔记——曹健（writed by Enigmalgia）
Enigmalgia
12-19 7530
可以看下我转载的一篇文章机器学习入门概括 关于TensorFlow的安装Ubuntu18.04下安装anaconda和pycharm搭建TensorFlow 贴一下TensorFlow的官方中文版教程 TensorFlow的中文API文档 曹健老师的GitHub源码 持续更新，在和同学交流之后被推荐了北京大学曹健老师的这门实践课，学习TensorFlow的实践。先致谢一下曹健老师！...
【2】机器学习算法面试八股
weixin_44125042的博客
07-15 875
频率派认为模型参数是固定的,一个模型在无数次抽样后,参数是不变的；频率派认为模型不存在先验贝叶斯学派认为数据才是固定的而参数并不是。贝叶斯派认为模型存在先验。支持向量机为一个二分类模型,它的基本模型定义为特征空间上的间隔最大的线性分类器。而它的学习策略为最大化分类间隔,最终可转化为凸二次规划问题求解。LR是参数模型,SVM为非参数模型。LR采用的损失函数为logisticalloss,而SVM采用的是hingeloss。在学习分类器的时候,SVM只考虑与分类最相关的少数支持向量点。
机器学习面试八股准备
weixin_44036607的博客
04-21 880
一般是卷积-BN-Relu. Sigmoid：如果先BN再Sigmoid，由于BN后方差接近于1，均值接近于0，使得BN后的数据接近于Sigmoid的线性区域，降低了激活函数的非线性能力，这种情况下建议Sigmoid+BN。2、在训练的时候，是分批量进行填入模型的，但是在预测的时候，如果只有一个样本或者很少量的样本来做inference，这个时候用BN显然偏差很大，例如在线学习场景。正则化，增加训练数据，数据增强，标签平滑，BatchNorm，early-stop，交叉验证，Dropout，
机器学习八股文(考研复试自用)
weixin_54262350的博客
03-25 2227
​ 机器学习起源于上世纪50年代，1959年在IBM工作的Arthur Samuel设计了一个下棋程序，这个程序具有学习的能力，它可以在不断的对弈中提高自己。由此提出了“机器学习”这个概念，它是一个结合了多个学科如概率论，优化理论，统计等，最终在计算机上实现自我获取新知识，学习改善自己的这样一个研究领域。
八股文——机器学习基础模型评估
wangziling123456的博客
04-07 1113
计算公式 召回率(预测结果中真正的正例数)/(样本中所有的正例数)这里需要注意一个特点，真阳性率和召回率是一致的。召回率是对样本的评判 样本中有多少正样本被预测正确了精确率是对预测结果的评判计算公式 Precision=(预测结果中真正的正例数)/(预测结果中的正例数)预测结果中的正例数正例数包含两个方面1 正的预测为正的2 负的预测为正的如果查准率很大，当样本预测为正例时，那么这个样本为正例的把握就很大(1)首先，ROC曲线的横坐标是假阳性率FPR，纵坐标是真阳性率TPR。
【机器学习】大模型面试八股含答案
fengdu78的博客
10-12 6033
原作者：花甘者浅狐感谢这位朋友辛苦整理，访问知乎原文https://zhuanlan.zhihu.com/p/643560888基础知识1.transformer 八股文a.Self-Attention的表达式 b.为什么上面那个公式要对QK进行scaling scaling后进行softmax操作可以使得输入的数据的分布变得更好，你可以想象下softmax的公式，数值会进入敏感区间，防止梯度消失...
【AI算法岗面试八股面经【超全整理】——机器学习】
猫猫头的博客
05-28 8592
因为回归树的标签是连续的，因此基尼系数、熵这种概率评估不适合作为评估指标，所以考虑使用均方误差作为特征划分的好坏，将划分后每个节点所有样本的均方误差之和与之前没划分的节点的均方误差作差来代替基尼系数。如果能将用户A的原始特征转变为一种代表用户A喜好的特征向量，将电影1的原始特征转变为一种代表电影1特性的特征向量，那么，我们计算两个向量的相似度，就可以代表用户A对电影1的喜欢程度。首先对物品或内容的特征作出描述，发现其相关性，然后基于用户以往的喜好记录，推荐给用户相似的物品。交叉熵越小，两个概率分布越接近。
Java八股文面试详解：基础、与C++区别、面向对象解析
"Java八股文面试基础涵盖了Java的特点、Java与C++的区别、面向对象与面向过程的差异以及JDK和JRE的区别，旨在帮助求职者深入理解Java编程的基础知识，以应对面试中的常见问题。" Java作为一门广泛使用的编程语言，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值