工作面试
qxq_sunshine
持之以恒
展开
-
正则化的原理解释——过拟合
1、欠拟合:模型过于简单过拟合:模型过于复杂,数据量太少2、如何防止过拟合?使用正则化项(L1正则化(||W||=|w1|+...+|wn|,),L2正则化())模型复杂度与参数向量有关。使用正则化后可以使得某些参数趋向于0或者等于0,达到减少参数的目的经验风险最小化——》结构风险最小化(加上正则化项)正则化<——>带约束条件,即减少解空间,减少模型复杂度3、L1正则具有稀疏性。为什么使得很多参数的值变成0.从解空间的形状:L1正则有棱有角,更容易在顶点处原创 2020-12-16 21:51:08 · 298 阅读 · 0 评论 -
面试题(1)
一、啄云智能电话面试Q1: 全连接层与卷积层的区别我没有答上来。 课后补习:卷积提取的是局部特征,而全连接及时把以前的局部特征通过权重矩阵组成完整的图。(1)全连接层:****全连接层也是一种卷积层;相当于他的卷积核大小跟特征图大小一样, 缺点是参数很多(全连接层参数可以站短到整个网络参数的80%)。因为普通的卷积的滑动窗口只有一个小滑窗那么大,但是全连接层的卷积核与特征...原创 2019-09-11 22:25:26 · 173 阅读 · 1 评论 -
C++基础知识
1.vector、list和map三者的区别?2. 浅拷贝和深拷贝的区别?3. 什么是哈希表?产生冲突了如何解决?4. 什么是深度优先,什么是广度优先?一.vector、list和map三者有何区别?(1) vector拥有一段连续的内存空间,并且起始地址不变,对随机存取有非常好的支持,但是在中间进行插入和删除的时候需要拷贝内存空间,会影响效率.vector适用:对象数量变...原创 2019-08-05 22:41:50 · 99 阅读 · 0 评论 -
机器学习里面的聚类、分类算法 (未写完)
1、分类算法::LR(logist Regression)、SVM、KNN、决策树、RandomForest、GBDT(也不知道是什么)2、回归算法:non-Linear regression 、 SVM(支持向量回归)、随机森林3、聚类:k-means、层次聚类(??不懂)、GMM(高斯混合模型)、谱聚类(??不懂)聚类算法唯一用到的信息就是样本与样本之间的相似度;评判标准:高类...翻译 2019-03-03 21:23:22 · 286 阅读 · 0 评论 -
梯度下降 和反向传播推导(公式)
1、训练算法几乎都是使用梯度来使得代价函数下降,大多数都是对随机梯度下降算法的改进。目标函数关于的梯度是目标函数上升最快的方向。那么对于最优化问题,只需要将参数沿着梯度相反的方向前进一步就可以实现目标函数的下降,这个步长又称为学习率,更新的公式如下:。梯度下降可以根据数据集的不同分为批量梯度下降、随机梯度下降和小批量梯度下降。其中,批量梯度下降是在整个训练集上计算的,如果数据集比较大,可能会面...翻译 2019-03-03 19:31:54 · 2382 阅读 · 0 评论 -
SVM的思想
SVM是一个二元分类算法,线性分类和非线性分类都支持,经过演化,也可以支持多元分类问题和回归问题。1、感知机感知机模型就是尝试找到一条直线,能够将二元数据隔开,在三维或者更高维中,感知机模型就是尝试找到一个超平面,将所有的二元类别都隔离开。对于这个分离的超平面(直线),我们定义,在其上方定义y=1,左下方定义为y=-1.满足这样的条件的超平面不止一个,我们要找到泛化能力最强的那个。SV...翻译 2019-02-25 13:51:19 · 8602 阅读 · 0 评论 -
逻辑回归的极大似然估计
参考博客:https://blog.csdn.net/yinyu19950811/article/details/81321944,感谢作者的分享1、什么是逻辑回归?逻辑回归是一种分类算法,不是回归算法。它利用了回归的思想来解决分类问题。总结:逻辑回归假设数据服从伯努利分布,通过极大似然函数的方法,运用梯度下降来求解参数,最终达到数据二分类的目的。假设有一个二分类的问题,输出结果为...翻译 2019-02-25 11:08:41 · 12378 阅读 · 0 评论 -
KL散度的理解
让数据和分布的吻合度最高,似然函数可以衡量数据和分布的相似程度,另一个常见的方式就是KL散度(又叫相对熵)1、熵是什么呢?熵是一个描述信息量的量纲。就是描述数据中含有多少信息量,记为H,定义如下:如果我们使用 log2 作为底,熵可以被理解为:我们编码所有信息所需要的最小位数(minimum numbers of bits)2、能够量化数据中的信息,就可以来衡量近似数据分布...原创 2018-11-08 20:22:18 · 1291 阅读 · 0 评论 -
面试相关
笔记积累 ——————————2018年11月8日————————1、成员变量初始化问题:(https://blog.csdn.net/no_sying_nothing/article/details/51958547 )总结:1.成员变量在使用初始化列表初始化时,与构造函数中初始化成员列表的顺序无关,只与定义成员变量的顺序有关。2.如果不使用初始化列表初始化,在构造函数内...原创 2018-11-08 14:42:57 · 107 阅读 · 0 评论 -
机器学习与深度学习面试
深度学习:45个问题测出你的深度学习基本功 / 45 Questions to test a data scientist on basics of Deep Learning深度学习面试你必须知道这些答案:知乎专栏:https://zhuanlan.zhihu.com/p/29965072AI研习社:https://mp.weixin.qq.com/s?__biz=MjM5O...翻译 2018-11-10 19:54:17 · 152 阅读 · 0 评论