xiaoxu的博客

CVPR2018最佳论文提名的工作Deep Learning of Graph Matching首次将端到端的深度学习技术引入图匹配，提出了全新的深度图匹配框架。我们提出了一种端到端模型，可以学习图匹配过程的所有参数，包括一元和成对节点邻域，表示为深度特征提取层次结构。相比于只考虑节点与节点之间一阶相似度关系的点匹配，图匹配还考虑了图结构中，边到边的二阶相似度，实际上，在图匹配算法中，任意一对顶点、任意一对边之间，都存在相应的相似度度量。由于额外考虑了图结构中的二阶相似度信息。

优点:算法简洁，当学习率取值恰当时，可以收敛到全局最优点（凸函数）或局部最优点（非凸函数）。缺点对超参数学习率比较敏感：过小导致收敛速度过慢，过大又越过极值点。学习率除了敏感，有时还会因其在迭代过程中保持不变，很容易造成算法被卡在鞍点的位置。在较平坦的区域，由于梯度接近于0，优化算法会因误判，在还未到达极值点时，就提前结束迭代，陷入局部极小值。之后的算法优化是从梯度方面和学习率方面对整个优化器算法进行优化。

在动手学习深度学习中对目标检测任务有如下的描述。图像分类任务中，我们假设图像中只有一个主要物体对象，我们只关注如何识别其类别。然而，很多时候图像里有多个我们感兴趣的目标，我们不仅想知道它们的类别，还想得到它们在图像中的具体位置。在计算机视觉里，我们将这类任务称为目标检测（object detection）或目标识别（object recognition）通过边界框给出了物体的相关位置信息我们通常使用边界框（bounding box）来描述对象的空间位置。边界框是矩形的，由矩形左上角的以及右下角的。

提出问题：深度卷积网络难训练本文方法：残差学习框架可以让深层网络更容易训练本文优点：ResNet易优化，并随着层数增加精度也能提升本文成果：ResNet比VGG深8倍，但是计算复杂度更低，在ILSVRC-2015获得3.57%的top-error本文其它工作：CIFAR-10上训练1000层的ResNet本文其它成果：在coco目标检测任务中提升28%的精度，并基于ResNet夺得ILSVRC的检测、定位COCO的检测和分割四大任务的冠军。

在提出卷积层的概念之前首先引入图像识别的特点。

人工神经元：人类神经元中抽象出来的数学模型。

2017年1月，FAlR（FacebookAl Research）发布PyTorch。PyTorch是在Torch基础上用python语言重新打造的一款深度学习框架Torch是采用Lua语言为接口的机器学习框架，但因Lua语言较为小众，导致Torch知名度不高。

聚类：物以类聚。将相似的样本聚集到一起，使得同一类簇的样本尽可能接近,不同类簇的样本尽可能远离。对于距离的定义：满足下面的四个特点。

集成学习通过构建并结合多个学习器来完成学习任务，有时也称为多分类系统等。分类： 根据集成学习中的个体学习器的不同可以分为同质集成（集成的学习器相同例如全部是决策树），和异质集成（集成的学习器包括多种，例如决策树神经网络SVM等）。首先集成学习的结果通过投票法产生，即少数服从多数的原则总结： 集成学习器应该满足的两个基本条件是好而不同的。参数说明：解读：k个学习器成功预测样本x的概率两个基本结论：引入推导过程Hoeffing不等式（霍夫丁不等式）根据个体学习器的生成方式的不同分为两大类需要解决的问题：①

以一个多分类任务为例：假设当前有一个N分类问题，即={C1,C2，···CN}定义一入ij是将一个真实标记为cj的样本误分类为ci所产生的损失。定义二：单个样本c的期望损失（条件风险）为:其中，P (cj|x)为后验概率定义三：全部样本构成的总体风险为：单个样本的条件风险的合集其中，h为分类器（模型）。显然，分类效果越准确的h，其条件风险和总体风险也越小。

：即是所有样本点几何间隔的最小值。

M-P神经元（一个用来模拟的数学模型）：接收n个输入(通常是来自其他神经元)，并给各个输入赋予权重计算加权和，然后和自身特有的阈值进行比较 (作减法），最后经过激活函数（模拟“抑制"和“激活"）处理得到输出（通常是给下一个神经元）通过对公式形式的观察可以发现M-p神经元与线性回归模型之间有密切的联系。单个M-P神经元：感知机（sgn[]作激活函数）、对数几率回归（sigmoid作激活函数)

根据西瓜书中的公式与内容来进行推导和实现。

选择一个常见的阈值，将预测的结果判定为0或者1，一般情况下可以选择0.5作为边界条件，大于0.5预测值设置为1，相反小于0.5预测值设置为0。使用梯度下降算法来进行训练，与线性回归的梯度下降算法相比，f（x）的形式不同（定义不一样）表达的式子相同（使用逻辑回归模型来解决对应的问题则需要使用一个函数将实数集映射为[0,1]区间上的离散值。需要注意的是函数不是连续的函数存在两个无穷间断点，其中z是线性回归模型中使用的函数。根据的特征过多且该特征并无相关的关系时（即在训练的过程中存在偏见）

Pandas 的主要数据结构是 Series （一维数据）与 DataFrame（二维数据）。Pandas 广泛应用在学术、金融、统计学等各个数据分析领域。Series： 类似于一维数组或列表，是由一组数据以及与之相关的数据标签（索引）构成。Series 可以看作是 DataFrame 中的一列，也可以是单独存在的一维数据结构。DataFrame： 类似于一个二维表格，它是 Pandas 中最重要的数据结构。

numpy是python中做科学计算的基础库，对数组进行操作整个numpy的操作和使用比较简单因此可以通过案例的学习掌握基本的用法在之后的学习中不断的进行熟悉和补充。

采用猫狗分类的数据集，同时拥有三个基本的特征（输入）作为模型建立时使用的数据集。将构造出来的决策树，分为了决策结点和叶子节点（预测节点）根据不同的节点进行预测和选择，从而得到想要的结果。构造的简单决策树如图所示。采用不同的决策树构造算法会得到不同的决策树类型。需要通过模型的评估准则来对决策树进行评价。

通过激光雷达点云中的3D多目标跟踪是自动驾驶车辆的关键组成部分。现有方法主要基于tracking-by-detection的管道，并且不可避免地需要用于检测关联的启发式匹配步骤。在本文中，我们提出了SimTrack，通过提出一个端到端可训练的模型来从原始点云进行联合检测和跟踪，从而简化了手工制作的跟踪范式。我们的关键设计是预测给定片段中每个目标的首次出现位置，以获得跟踪身份，然后基于运动估计更新位置。在推理中，启发式匹配步骤可以通过简单的读取操作完全放弃。

使用python进行科学计算，深度学习，机器学习等需要管理好每个项目所需要的python环境，同时安装好指定版本的依赖项。对于Anaconda的使用以及python环境的配置是以后学习的基础。而对于命令行的操作也是在使用linux服务器时必备的一项技能。

使用的前置要求安装了anaconda的环境格式.ipynb）（不仅仅可以运行python）