- 博客(88)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 目标检测 [模型的评估指标mAP详解(附代码）]
本文翻译自Measuring Object Detection models - mAP - What is Mean Average Precision?tarangshah.com 对于使用机器学习解决的大多数常见问题，通常有多种可用的模型。每个模型都有自己的独特之处，并随因素变化而表现不同。每个模型在“验证/测试”数据集上来评估性能，性能衡量使用各种统计量如准确度（accu...
2019-01-21 19:46:30
1179
1
原创 深度学习 [调参经验]
调参经验模型选择通常我会使用一个简单的CNN模型（这个模型一般包含5个卷积层）将数据扔进去训练跑出一个baseline，这一步工作主要是为了验证数据集的质量。如果这个模型训练结果很差就不要先调试模型，需要检查一下你的训练集数据，看看图像的质量，图像标签是否正确，模型的代码是否正确等等，否则就是在做无用功，毕竟：garbage in,garbage out。 超参数的选择调参是项技术...
2019-01-21 19:35:58
329
原创 高等数学：第八章 多元函数的微分法及其应用（8）多元函数极值及其求法
§8.8 多元函数极值及其求法一、多元函数的极值1、多元函数极值定义设函数在点的某个邻域内有定义,对该邻域内异于的点,如果都适合不等式则称函数在点取极大值；如果都适合不等式则称函数在点取极小值。极大值与极小值统称为函数的极值；使函数取得极值的点称为极值点。注:二元函数的极值是一个局部概念,这一概念很容易推广至元函数。【例1】讨论下述函数在原点是否取得极...
2019-01-21 14:44:28
9251
1
原创 高等数学：第八章 多元函数的微分法及其应用（7）方向导数与梯度
§8.7 方向导数与梯度一、方向导数1、定义设函数在点的某一邻域内有定义,自点引射线,设轴正向到射线的转角为,为邻域内且在上的另一点。若比值这里,当沿着趋向于时的极限存在,称此极限值为函数在点沿方向的方向导数,记作。即 2、方向导数的存在性条件(充分条件)及计算【定理】若在点可微分, 则函数在该点沿着任一方向的方向导数都存在, 且有其中为轴正...
2019-01-21 14:41:39
3402
1
原创 高等数学：第八章 多元函数的微分法及其应用（6）微分法在几何上的应用
§8.6 微分法在几何上的应用一、空间曲线的切线与法平面1、曲线由参数方程给出的情形设空间曲线的参数方程为 (1)假定(1)式中的三个函数均可导。考虑上对应于的一点及对应于的邻近一点,其割线的方程为对等式同除以得当时,,曲线在点处的切线方程为 ...
2019-01-21 11:08:18
1786
原创 高等数学：第八章 多元函数的微分法及其应用（5）隐函数的求导公式
§8.5 隐函数的求导公式一、二元方程所确定的隐函数的情形由二元方程可确定一个一元的隐函数,将之代入原方程,得到一个恒等式对恒等式两边关于变量求导,左边是多元复合函数,它对变量的导数为右边的导数自然为,于是有解出,得到隐函数的导数 。由多元复合函数的求导定理可知,当在具有一阶连续偏导数,而在可导时,才可求出复合函数的导数,若时,才有这一求导方法,实际上...
2019-01-21 11:06:29
31065
1
原创 高等数学：第八章 多元函数的微分法及其应用（4）多元函数求导法则
§8.4 多元函数求导法则【定理】若函数及都在点可导;函数在对应点具有连续偏导数,则复合函数在点可导,且其导数为 (1)证明:设获得增量,这时的对应增量为,函数的对应增量为。据假定,函数在点具有连续偏导数,从而有这里,当时,。上式两边除以得而当时,有 ,从而所以故复合函数 在点可导,...
2019-01-21 10:49:59
5834
3
原创 高等数学：第八章 多元函数的微分法及其应用（3）全微分
§8.3 全微分一、全微分的定义给定二元函数，且均存在，由一元微分学中函数增量与微分的关系，有上述二式的左端分别称之为二元函数对或的偏增量，而右端称之为二元函数对或的偏微分。为了研究多元函数中各个自变量都取得增量时，因变量所获得的增量，即全增量的问题，我们先给出函数的全增量的概念。【定义】 设二元函数在点的某邻域内有定义，点为该邻域内的任意一点，则称这两点的函数值...
2019-01-21 10:38:12
9486
1
原创 高等数学：第八章 多元函数的微分法及其应用（1）多元函数的基本概念
§8.1 多元函数的基本概念本章将在一元函数微分学的基础上，讨论多元函数的微分法及其应用。讨论中，我们主要以二元函数为主，因为从一元函数到二元函数会产生许多新问题，而从二元函数到二元以上的函数则可以类推。建议同学们在学习中，注意将二元函数的概念与结论与一元函数的相应的概念与结论加以比较，区别并理解二者之间的“同中之异，异中之同”，这样会大大地提高学习效率。一、区域1、邻域设是...
2019-01-21 10:18:46
3677
转载 目标检测 [SSD原理与实现]
前言目标检测近年来已经取得了很重要的进展，主流的算法主要分为两个类型（参考RefineDet）：（1）two-stage方法，如R-CNN系算法，其主要思路是先通过启发式方法（selective search）或者CNN网络（RPN)产生一系列稀疏的候选框，然后对这些候选框进行分类与回归，two-stage方法的优势是准确度高；（2）one-stage方法，如Yolo和SSD，其主要思路是均匀...
2019-01-20 16:25:06
469
原创 常用工具 [ubuntu 图像编辑软件]
ubuntu上可以媲美PS的图像编辑软件，gimp安装：sudo apt-get install gimp
2019-01-20 15:45:42
5457
原创 机器学习 [合页损失函数 Hinge Loss]
函数特性在机器学习中，hinge loss是一种损失函数，它通常用于"maximum-margin"的分类任务中，如支持向量机。数学表达式为：其中 表示预测输出，通常都是软结果（就是说输出不是0，1这种，可能是0.87。）， 表示正确的类别。如果 ，则损失为： 如果 ，则损失为：0其函数图像如下，与0-1损失对比： 优化以支持向量机为例，其模型为： ...
2019-01-20 15:41:46
2500
原创 机器学习 [交叉熵损失函数]
表达式二分类在二分的情况下，模型最后需要预测的结果只有两种情况，对于每个类别我们的预测得到的概率为p和1-p。此时表达式为：其中：y——表示样本的label，正类为1，负类为0 p——表示样本预测为正的概率多分类多分类的情况实际上就是对二分类的扩展：其中：M——类别的数量； y——指示变量（0或1）,如果该类别和样本的类别相同就是1，否则是0； p——对...
2019-01-20 15:25:32
1171
原创 机器学习 [logistic函数和softmax函数]
简单总结一下机器学习最常见的两个函数，一个是logistic函数，另一个是softmax函数，若有不足之处，希望大家可以帮忙指正。本文首先分别介绍logistic函数和softmax函数的定义和应用，然后针对两者的联系和区别进行了总结1. logistic函数1.1 logistic函数定义 引用wiki百科的定义： A logistic function or logist...
2019-01-19 21:17:28
741
转载 支持向量机SVM [核函数和参数]
核映射与核函数通过核函数，支持向量机可以将特征向量映射到更高维的空间中，使得原本线性不可分的数据在映射之后的空间中变得线性可分。假设原始向量为x，映射之后的向量为z，这个映射为：在实现时不需要直接对特征向量做这个映射，而是用核函数对两个特征向量的内积进行变换，这样做等价于先对向量进行映射然后再做内积：在这里K为核函数。常用的非线性核函数有多项式核，高斯核（也叫径向基函数核，RB...
2019-01-19 11:42:12
8610
原创 卷积神经网络 [数学特性]
神经网络代表了人工智能中的连接主义思想，它是一种仿生的方法，被看做是对动物大脑神经系统的模拟。在实现时，它又和大脑的结构不同。从数学上看，多层神经网络本质上是一个复合函数。既然神经网络在本质上是一个复杂的复合函数，这会让我们思考一个问题：这个函数的建模能力有多强？即它能模拟什么样的目标函数？已经证明，只要激活函数选择得当，神经元个数足够多，使用3层即包含一个隐含层的神经网络就可以实现对任何一个...
2019-01-19 10:44:20
1108
原创 卷积神经网络 [卷积层可视化]
卷积网络设计的初衷是通过卷积层和池化层逐级提取图像在各个不同抽象层次的特征，我们会有这样的疑问：现实结果真的是这样的吗？先看图像卷积之后的结果。下面是一张卡车的图像：卡车图像用AlexNet网络处理之后，第一个卷积层的输出结果（我们把各个卷积核的结果依次排开了）是这样的：卷层1的结果可以看到这里抽取了一些边缘信息。第二个卷积层的输出结果是这样的：卷层2的结果它抽取...
2019-01-19 10:27:37
3811
原创 机器学习基本概念[持续补充]
损失函数（loss function）与代价函数（cost function）等价，是一个意思: 用来度量一次预测错误的程度.比如常用的0-1损失函数，平方损失函数，绝对损失函数，对数损失函数（即对数似然损失函数）.目标函数（object function）与风险函数等价，是一个意思: 度量平均意义下模型的好坏，如期望损失（损失函数的期望）或经验损失（训练集的平均损失）或结构风险（在经验风...
2019-01-19 10:11:18
164
转载 卷积神经网络反向传播理论推导
本文首先简单介绍CNN的结构，并不作详细介绍，若需要了解推荐看CS231n课程笔记翻译：卷积神经网络笔记。本文只要讲解CNN的反向传播，CNN的反向传播，其实并不是大多所说的和全连接的BP类似，CNN的全连接部分的BP是与它相同，但是CNN中卷积--池化、池化--卷积部分的BP是不一样的，仔细推导，还是有很多细节地方需要思考的，比如1、在前向传播的过程中，卷积层的输入，是通过卷积核与前一层的输出特...
2019-01-18 21:19:09
352
原创 常用机器学习算法 [高斯混合模型 GMM]
高斯混合模型通过多个正态分布的加权和来描述一个随机变量的概率分布，概率密度函数定义为：其中x为随机向量，k为高斯分布的个数，w(i)为权重，u为高斯分布的均值向量，E为协方差矩阵。所有权重之和为1，即：任意一个样本可以看作是先从k个高斯分布中选择出一个，选择第i个高斯分布的概率为w(i)，再由第i个高斯分布产生出这个样本数据x。高斯混合模型可以逼近任何一个连续的概率分布，因此可以看...
2019-01-18 20:25:12
747
原创 常用机器学习算法 [EM算法]
常用机器学习算法 [EM算法]EM算法是一种迭代法，其目标是求解似然函数或后验概率的极值，而样本中具有无法观测的隐含变量。因为隐含变量，我们无法直接通过最大化似然函数来确定参数的值。可以采用一种策略，构造出对数似然函数的一个下界函数，这个函数不含有隐含变量，然后优化这个下界，使原问题达到最优解，这就是EM算法所采用的思路。算法的构造依赖与Jensen不等式。算法在实现时首先随机初始化参数set...
2019-01-18 20:10:04
201
转载 [ECCV2018] 端到端的弯曲文本检测与识别
前言：这篇文章是第一个做弯曲文本的端到端检测+识别。 传统的方法将文字检测和文字识别分为两个分开的部分，即输入一张图，先进行文字检测，检测出文字的位置，再进行文字识别，即对检测出的文字抠出来并送入识别网络。这样一方面比较费时间，第二没有共享检测和识别的特征。 一 什么是端到端检测识别？即只需要一个网络，输入一张图片，同时输出检测和识别的结果，相比传统先检测再识别的好处在于...
2019-01-18 18:50:13
3429
1
原创 Keras 函数[TimeDistributed]理解
这个函数刚接触时不太好理解，其实结合几个例子来理解就容易多了.例1：Keras 官网文档关于该函数的例子，该文档说:This wrapper applies a layer to every temporal slice of an input.The input should be at least 3D, and the dimension of index one will...
2019-01-18 14:59:26
6526
11
转载 CTC损失函数及其实现[2]
最近用tensorflow写了个OCR的程序，在实现的过程中，发现自己还是跳了不少坑，在这里做一个记录，便于以后回忆。主要的内容有lstm+ctc具体的输入输出，以及TF中的CTC和百度开源的warpCTC在具体使用中的区别。正文输入输出因为我最后要最小化的目标函数就是ctc_loss，所以下面就从如何构造输入输出说起。tf.nn.ctc_loss先从TF自带的tf.nn.ct...
2019-01-18 14:36:08
3780
原创 CTC损失函数及其实现[1]
CTC损失函数及其实现[1]简介原理实现参考本文主要讲解了CTC损失函数的主要原理以及介绍了目前该损失函数的各种实现.简介显示中许多序列学习任务需要从含噪声，并且未分割的输入数据中预测出标签序列. 例如，语音识别，需要将声学信号转录成单词。RNNs似乎是一种适合这种任务的强大的序列学习器，但是，由于需要预分割的训练数据，以及需要后处理，将RNNs的输出转换为标签序列，使得该方法的应用受到限制...
2019-01-18 14:05:21
5877
原创 PyTorch 学习资源 [持续更新]
PyTorch 学习资源 [持续更新]《深度学习入门之PyTorch》一书的附带源码点评：个人觉得，该项目附带的源码讲解，竟然比售卖的书的内容还要好，内容更加丰富，讲解更加详细，总之，含金量很高地址：https://github.com/L1aoXingyu/code-of-learn-deep-learning-with-pytorch提示：pytorch版本0.4，支持jupyter...
2019-01-14 08:35:40
448
原创 Center Loss的Pytorch实现
Center Loss的Pytorch实现开始结果在自己的项目中使用中心损失函数Center Loss的Pytorch实现: Wen et al. A Discriminative Feature Learning Approach for Deep Face Recognition. ECCV 2016.这个损失函数也被使用在： deep-person-reidgithub项目：https...
2019-01-13 18:20:41
11178
11
转载 CVPR 2018 论文解读集锦
之前我们整理过视觉顶级会议CVPR2017的论文解读文章 和ICCV 2017 论文解读集锦，CVPR 2018已经公布了所有收录论文名单，为了能够让大家更深刻了解CVPR的论文，我们进行了一些CVPR 2018论文解读的整理，后续还会持续更新。 53.CVPR 2018|分割算法——可以分割一切目标（附各种分割总结）本文是对何恺明CVPR 2018的目标分割工作解读，同时作者基于时间...
2019-01-13 17:09:43
487
原创 解析注意力模型
前言这里学习的注意力模型是我在研究image caption过程中的出来的经验总结，其实这个注意力模型理解起来并不难，但是国内的博文写的都很不详细或说很不明确，我在看了 attention-mechanism后才完全明白。得以进行后续工作。这里的注意力模型是论文 Show,Attend and Tell:Neural Image Caption Generation with Visual...
2019-01-13 16:53:00
245
转载 Adam那么棒，为什么还对SGD念念不忘 (3)—— 优化算法的选择与使用策略
在前面两篇文章中，我们用一个框架梳理了各大优化算法，并且指出了以Adam为代表的自适应学习率优化算法可能存在的问题。那么，在实践中我们应该如何选择呢？ 本文介绍Adam+SGD的组合策略，以及一些比较有用的tricks. 回顾前文：Adam那么棒，为什么还对SGD念念不忘 (1)Adam那么棒，为什么还对SGD念念不忘 (2) 不同优化算法的核心差异：下降方向 ...
2019-01-13 16:45:07
1006
转载 Adam那么棒，为什么还对SGD念念不忘 (2)—— Adam的两宗罪
在上篇文章中，我们用一个框架来回顾了主流的深度学习优化算法。可以看到，一代又一代的研究者们为了我们能炼（xun）好（hao）金（mo）丹（xing）可谓是煞费苦心。从理论上看，一代更比一代完善，Adam/Nadam已经登峰造极了，为什么大家还是不忘初心SGD呢？ 举个栗子。很多年以前，摄影离普罗大众非常遥远。十年前，傻瓜相机开始风靡，游客几乎人手一个。智能手机出现以后，摄影更是走进千家万户...
2019-01-13 16:43:02
344
转载 Adam那么棒，为什么还对SGD念念不忘 (1) —— 一个框架看懂优化算法
机器学习界有一群炼丹师，他们每天的日常是： 拿来药材（数据），架起八卦炉（模型），点着六味真火（优化算法），就摇着蒲扇等着丹药出炉了。 不过，当过厨子的都知道，同样的食材，同样的菜谱，但火候不一样了，这出来的口味可是千差万别。火小了夹生，火大了易糊，火不匀则半生半糊。 机器学习也是一样，模型优化算法的选择直接关系到最终模型的性能。有时候效果不好，未必是特征的问题或者模型设计...
2019-01-13 16:41:25
943
转载 概览深度学习中的五大正则化方法和七大优化策略
选自arXiv机器之心编译深度学习中的正则化与优化策略一直是非常重要的部分，它们很大程度上决定了模型的泛化与收敛等性能。本文主要以深度卷积网络为例，探讨了深度学习中的五项正则化与七项优化策略，并重点解释了当前最为流行的 Adam 优化算法。本文主体介绍和简要分析基于南洋理工的概述论文，而 Adam 方法的具体介绍基于 14 年的 Adam 论文。近来在深度学习中，卷积神经网络和循环神经...
2019-01-13 16:39:27
782
转载 Attention Model（注意力模型）学习总结
最近一直在研究深度语义匹配算法，搭建了个模型，跑起来效果并不是很理想，在分析原因的过程中，发现注意力模型在解决这个问题上还是很有帮助的，所以花了两天研究了一下。 此文大部分参考深度学习中的注意力机制(2017版) 张俊林的博客，不过添加了一些个人的思考与理解过程。在github上找到一份基于keras框架实现的可运行的注意模型代码：Attention_Network_With_Keras。...
2019-01-13 15:51:53
748
转载 深入理解 LSTM 网络
本文译自 Christopher Olah 的博文 Recurrent Neural Networks人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。传统的神经网络并不能做到这点，看起来也像是一种巨大的弊端。例如...
2019-01-13 12:37:45
383
1
原创 PyTorch 1.0 保存和加载模型
PyTorch 1.0 保存和加载模型什么是`state_dict`在推理阶段保存和加载模型Save/Load 整个模型为推理或恢复训练，保存和加载一个通用的Checkpoint在一个文件中保存多个模型使用不同模型的模型权重热启动网络模型交叉设备保存和加载模型参考本文将提供关于保存和加载PyTorch模型的各种用例的解决方案，本文不需要通读，可直接跳到需要用到的案例.当要保存和加载模型时，有三...
2019-01-12 22:09:59
7258
1
原创 PyTorch 1.0 之迁移学习--transfer learning
PyTorch 1.0 迁移学习前言加载数据可视化图像训练模型可视化模型的预测结果微调卷积网训练和评估将卷积网作为特征提取器再次训练和评估参考前言在本文中我们将讨论和实践怎样将迁移学习应用到我们网络的训练之中. 了解更多关于迁移学习的知识可以到cs231n笔记.引用cs231n的笔记如下：实际上，很少人完全从头开始训练一个卷积网络（使用随机初始化），因为往往难以有相对足够的数据规模能够满...
2019-01-11 21:34:16
906
原创 PyTorch 1.0 数据加载与预处理
PyTorch 1.0 数据加载与预处理数据准备数据集的`类`组合 transforms迭代数据集最后，Torchvison更多数据准备在机器学习中，准备数据往往要耗费许多力气. PyTorch提供了许多工具来使数据加载变得更简单有用，同时可以让代码的可读性更高. 本文将演示怎样加载和预处理（包括数据增广）一个牛逼的数据集.本文将用到下面两个工具包：scikit-image：用于图像的输...
2019-01-10 22:13:25
1036
1
原创 高等数学：第七章 空间解析几何（1）空间解析几何与向量代数
§7.1 空间直角坐标系一、空间点的直角坐标平面直角坐标系使我们建立了平面上的点与一对有序数组之间的一一对应关系，沟通了平面图形与数的研究。为了沟通空间图形与数的研究， 我们用类似于平面解析几何的方法，通过引进空间直角坐标系来实现。1、空间直角坐标系过空间一定点，作三条互相垂直的数轴，它们以为原点，且一般具有相同的长度单位，这三条轴分别叫轴(横轴)、轴(纵轴)、轴(竖轴)， ...
2019-01-09 21:21:21
5771
原创 高等数学：第六章 定积分的应用（5）功、水压力和引力
§6.5 功、水压力和引力一、变力沿直线所作的功【例1】半径为的球沉入水中，球的上部与水面相切，球的比重为 1 ，现将这球从水中取出，需作多少功?解：建立如图所示的坐标系将高为的球缺取出水面，所需的力为：其中：是球的重力，表示将球缺取出之后，仍浸在水中的另一部分球缺所受的浮力。由球缺公式 有从而 十分明显，表示取出水面的球缺的重力。即：仅有重力作功...
2019-01-09 21:19:31
41186
3
原创cygwin合集——实测可用
2017-01-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人