- 博客(9)
- 收藏
- 关注
RSS订阅原创 每日一问之多元分类为什么使用 softmax 函数
多分类问题为什么使用 softmax 函数，其背后的数学原理是什么？周五的时候，总结了二分类使用 sigmoid 作为激活函数的原因，今天来总结多元分类问题使用 softmax 函数的原因。主要是下面这几个要点：多项分布与多元分类指数族分布softmax 函数的推导多项分布与多元分类多项分布是二项分布（伯努利分布）的推广，推广至 k 个不同的类别。伯努利分布的典型例子是抛硬币，...
2019-02-08 15:29:03
1702
1
原创 每日一问之二元分类为什么使用 sigmoid 函数
说说 sigmoid 函数为什么用于二分类问题？之前在学习 《Pattern Recognition and Machine Learning》这本书的时候，写笔记的时候，记录了 sigmoid 函数的推导，今天专门单拎出来从下面几个方面再总结一遍，再讲的细致一点。伯努利实验伯努利分布二元分类指数族函数sigmoid 函数的推导伯努利实验在介绍伯努利分布之前，先介绍一个有名...
2019-02-08 15:27:15
4640
原创 每日一问之算法的时间复杂度
写在前面这周调整了下计划，鉴于很多不懂的知识需要大量的时间去消化及整理输出，因此，改为每逢节假日更新每日一问。今天来整理算法复杂度的相关知识。在算法中包含两种复杂度，一种是时间复杂度，另一种是空间复杂度。这篇文章主要总结 时间复杂度 相关的知识点。时间复杂度大 O 表示法计算时间复杂度时间复杂度时间频度在计算机中，不可能真正的去计算算法的每条语句的执行时间，只有真正上机测试...
2019-02-08 15:25:38
741
原创 每日一问之初识牛顿迭代法（Newton's method）
什么是牛顿迭代法？今天在刷 LeetCode 的 sqrt(x) 这道题的时候，看到别人的解法中有使用牛顿迭代法。之前也看到这个方法很多次，但都没有去了解。今天正好就这个问题来稍微整理一下：什么是牛顿法？为什么可以用它来求解开方问题？什么是牛顿法在维基百科中的定义如下：In numerical analysis, Newton’s method (also known as ...
2019-02-08 15:24:21
860
原创 每日一问之经典网络(1) - LeNet-5
说说经典网络 LeNet5 的架构？之前写毕业论文的时候，看了一些关于深度学习历史方面的资料，里面就有提到 LeNet-5 这个经典的网络。今天从以下几点整理关于 LeNet-5 的相关知识：LeNet-5 的来源LeNet-5 的架构细节LeNet-5 的意义LeNet-5 的来源LeNet-5 这个架构最先在 LeCun 这篇[1]论文中提出的，详见参考部分，当时被用于银行...
2019-02-08 15:21:55
443
原创 每日一问之预训练与微调
预训练（pre-training/trained）和微调（fine tuning）这两个词经常在论文中见到，今天主要按以下两点来说明。什么是预训练和微调？它俩有什么作用?什么是预训练和微调你需要搭建一个网络模型来完成一个特定的图像分类的任务。首先，你需要随机初始化参数，然后开始训练网络，不断调整直到网络的损失越来越小。在训练的过程中，一开始初始化的参数会不断变化。当你觉得结果很满意的...
2019-02-08 15:19:34
1683
1
原创 每日一问之 Batch Normalization
Batch Normalization 的好处是什么？这么久了，早就忘记了 Batch Normalization 的具体内容了，只依稀记得是有点正则化的效果的。之前学习吴恩达课程的时候，采用的是手写笔记的方式，但是我并没有把它带到学校来，无法及时查看及复习。这就是手写笔记的弊端。所以，今天特意再次整理 Batch Normalization 的相关知识，如下几点所示：什么是 Batch...
2019-02-08 15:18:04
158
原创 每日一问之鞍点（saddle point）
今天开始在 GitHub 上刷每日一题，但是很快就被一道题卡住了。题目如下所示：结合自己的情况并针对这道问题，整理出了以下概念：什么是鞍点？什么是 Hessian 矩阵？如何证明一个点为鞍点？局部最小值和鞍点的区别？什么是鞍点在维基中的定义如下：In mathematics, a saddle point or minimax point is a poin...
2019-02-08 15:13:50
5955
原创 每日一问之为什么创建这个系列
每日一问系列是参照 GitHub 上 daily-question 以及 深度学习 500 问 这两个 Repo 或者其他地方的各种问题来测验自己的掌握水平的，顺带着整理一些相关知识点。在此，感谢 Repo 作者的辛苦整理。不妥则删。同时，建立这个系列也是为了记录自己的缺陷以及每日的进步。且不想再继续懒下去了，要改邪归正，争取做一个理论，代码都很厉害（即使不厉害，起码也要够的上合格）的人。再者...
2019-02-08 15:07:43
180
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人