沉晨尘宸的博客

损失函数与优化介绍一.损失函数二.多分类SVM损失函数三.多项逻辑回归损失函数（Softmax）四.Svm损失函数与Softmax损失函数的对比五.优化六.图像特征一.损失函数问题引入：如何给数据集选择一个正确的权重W以及怎么用训练数据来得到W的最优值。有一些训练数据集x和y，通常又N个样本，其中x是算法的输入，在图片分类问题里，x其实是图片每个像素点所构成的数据集，y是希望预测出来的东西，通常称之为标签或目标。我们把最终的损失函数定义为二.多分类SVM损失函数问题：这个公式到底是在计算什么

深度学习精学1背景课程介绍图像分类，数据驱动一.数据驱动的方法：二.图像的分类背景早期的相机从动物到人类，从柱状表示到面部识别再到最后的基于特征的识别系统，加入了不同环境下的变化课程介绍一个重点：图像分类一般都建立与一些为了图片分类的工具上，然后我们讨论一下其他问题，比如目标检测与图像摘要生成在目标检测中，我们对于猫狗一些物品的画像要画出边界框，说明这里有一只猫，一只狗。。。。标记出这些东西。还有一些很多。。。图像分类，数据驱动一.数据驱动的方法：当做图像分类时，分类系统接收一些输

一 数据驱动方法：如何写一个图像分类的算法呢？我们采取的方法和教小孩儿看图识物类似：给计算机很多数据，然后实现学习算法，让计算机学习到每个类的外形。这种方法，就是数据驱动方法。二 图像分类图像分类就是输入一个元素为像素值的数组，然后给它分配一个分类标签图像分类流程，如下：输入：输入是包含N个图像的集合，每个图像的标签是K种分类标签中的一种。这个集合称为训练集。学习：这一步的任务是使用训练集来学习每个类到底长什么样。一般该步骤叫做训练分类器或者学习一个模型。评价：让分类器来预测它未曾见过的图像

神经网络结构一个3层神经网络的前向传播:表达能力设置层的数量和尺寸小结灵活地组织层将神经网络算法以神经元的形式图形化。神经网络被建模成神经元的集合，神经元之间以无环图的形式进行连接。也就是说，一些神经元的输出是另一些神经元的输入。在网络中是不允许循环的，因为这样会导致前向传播的无限循环。通常神经网络模型中神经元是分层的，而不是像生物神经元一样聚合成大小不一的团状。对于普通神经网络，最普通的层的类型是全连接层（fully-connected layer）。全连接层中的神经元与其前后两层的神经元是完全成对连

神经网络笔记3一.参数更新1.普通更新2.动量更新二.学习率退火1.二阶方法2.逐参数适应学习率方法三.超参数调优四.评价1.模型集成五.总结一.参数更新一旦能使用反向传播计算解析梯度，梯度就能被用来进行参数更新了。进行参数更新有好几种方法，接下来都会进行讨论。深度网络的最优化是现在非常活跃的研究领域。本节将重点介绍一些公认有效的常用的技巧，这些技巧都是在实践中会遇到的。我们将简要介绍这些技巧的直观概念，但不进行细节分析。对于细节感兴趣的读者，我们提供了一些拓展阅读。随机梯度下降及各种更新方法普通

python与numpyPython基本数据类型NumpySciPyPythonPython是一种高级的，动态类型的多范型编程语言。很多时候，大家会说Python看起来简直和伪代码一样，这是因为你能够通过很少行数的代码表达出很有力的思想。举个例子，下面是用Python实现的经典的quicksort算法例子：def quicksort(arr): if len(arr) <= 1: return arr pivot = arr[len(arr) / 2] l