基础
聊北辰同学
算法小白
展开
-
【笔试面试】Pytorch为何称之为动态图模型?
顾名思义,动态图就是可变化的图,静态图就是不可变的图。所以很容易产生如下疑问:这里的图是指什么?可变不可变又是怎么实现的?各自有什么优势?带着疑问看了些资料,简单整理了一下。深度学习框架的“图”指的是什么?这里的图其实指的是计算图,一种用来描述运算的有向无环图。包含两个主要元素:节点(Node):节点表示数据,如向量、矩阵、张量。边(Edge):边表示运算,如加减乘除卷积等。示例:其中,x,y,z,gx,y,z,gx,y,z,g 分别为节点,+,∗+,*+,∗ 为节点之间的操作,原创 2021-01-22 14:49:09 · 528 阅读 · 1 评论 -
【自动驾驶】快速计算散点曲率
参考:https://zhuanlan.zhihu.com/p/72083902/转载 2021-01-07 10:41:03 · 1072 阅读 · 0 评论 -
【深度学习】Softmax和交叉熵损失是什么?香农信息量、熵、交叉熵又是什么?
这之前了解一下softmaxsoftmaxsoftmax的一些概念,区别于maxmaxmax,softmaxsoftmaxsoftmax的特点就在于他的softsoftsoft,有点像聚类里的软聚类和硬聚类的区别类似,softmaxsoftmaxsoftmax会给出属于各个类别是概率,而非直接归为某个类别。softmaxsoftmaxsoftmax计算也非常简单,公式如下:Softmaxi=ei∑jejSoftmax_i = \frac{e^i}{\sum_j{e^j}}Softmaxi=∑jejei原创 2020-09-06 23:02:28 · 267 阅读 · 0 评论 -
【深度学习】Focal Loss
计算视觉知识点Focal Loss背景one-stage目标检测任务中存在正负样本严重不均衡和难易样本不均衡的问题实际情况下,易分样本占比高,他们产生的损失会主导模型的损失。而很多情况下,难分样本的区分也同样非常重要。当易分样本或头部样本的损失占主导时,模型参数的更新很难对难分样本或尾部样本具有很好的泛化能力。解决思路正常的交叉熵损失Loss={−(1−p)log(p)y=1−plog(1−p)y=0Loss = \left\{ \begin{aligned} -(1-p)log(p) &原创 2020-09-04 23:28:41 · 264 阅读 · 0 评论 -
【笔试面试】排序算法稳定性
排序算法的稳定性排序算法相信大部分同学都非常熟悉,也是必备知识点。但我也相信,有相当一部分同学被问到**哪些排序算法的稳定的?**这个问题时,还是一脸懵逼。然后开始百度,取找类似这样的表(此处举例,如有侵权,立即删除):那么,令人闻风丧胆的排序算法的稳定性到底是什么?理解性记忆究竟难不难?先来看看排序算法稳定性的定义:假定在待排序的记录序列中,存在多个具有相同的关键字的记录,若经过排序,这些记录的相对次序保持不变,即在原序列中,r[i]=r[j],且r[i]在r[j]之前,而在排序后的序列中,r原创 2020-09-04 10:53:36 · 116 阅读 · 0 评论 -
【深度学习】关于负梯度方向,函数值下降最大的思考
负梯度方向是函数值下降最快的方向我想每一个接触接触机器学习或者深度学习的人都对这句话倒背如流,但是随着时间的推移,很多概念及其背后的数学原理变得模糊。也是因为面试过程中被问及“为什么负梯度方向是函数值下降最快的方向?”,所以才突然发现是时候需要巩固一下这些尘封在脑海深处的知识点了。基础概念什么是梯度?首先回顾一下导数、方向导数、偏导数这几个概念:导数(数)导数(导函数值,微商),指的是对于y=f(x)y=f(x)y=f(x),当xxx在某点x0x_0x0处产生增量Δx\Delta{x}Δx.原创 2020-09-02 19:53:21 · 1129 阅读 · 0 评论