Mrrunsen的博客

对于上面的优化目标，可以看出主要分为两部分，优化目标中第一项用来描述划分超平面的间隔大小，另一项∑i1mlossfxiyi∑i1m​lossfxi​yi​用来表示训练集上的误差 ，写为一般的形式min⁡fΩfC∑i1mlossfxiyifmin​ΩfCi1∑m​lossfxi​yi​其中Ωf\Omega(f)Ωf称为结构风险，用于描述模型fff的某些性质；

命名实体识别（Named Entity Recognition, NER）在从文本中识别出特殊对象，这些对象的语义类别通常在识别前被预定义好，如人、地址、组织等。命名实体识别不仅仅是独立的信息抽取任务，它在许多大型自然语言处理应用系统如信息检索、自动文本概要、问答任务、机器翻译以及知识建库（知识图谱）中也扮演了关键的角色。学术上NER所涉及的命名实体一般包括3大类（实体类，时间类，数字类）和7小类（人名、地名、组织机构名、时间、日期、货币、百分比）。

维基百科中给正则项做出了如下的解释，简单理解：正则项是通过添加信息来解决不适定问题（ill-posed）或者防止过拟合，其应用范围很广，包括数理统计、图像以及机器学习中。Note：不适定问题，可以简单理解为解可能不存在、不唯一或者不稳定​ 在机器学习中，在损失函数中添加正则项，目的是希望模型在拟合训练数据的同时，尽量使得到的模型尽可能简单，防止过拟合，其基本形式大都如下，ω∗arg⁡min⁡ω∑iLyifxi;

设一元函数fxf(x)fx在x0x_0x0​的某个邻域内有定义，当自变量xxx在x0x_0x0​处有增量ΔxxΔxΔxxΔx也在邻域内时，函数的增量为Δyfx0Δx−fx0Δyfx0​Δx−fx0​，如果lim⁡Δx→0ΔxΔyΔx→0lim​ΔyΔx​极限存在，则称函数fxf(x)fx在点x0x_0x0​处可导，并称此极限为函数fff在点x。

本章节贝叶斯优化用于机器学习模型调参使用，由J.Snoek(2012)提出，主要思想是给定优化的目标函数（只需要指定输入和输出即可，无需知道内部结构以及数学性质），通过不断添加样本点来更新目标函数的后验分布(posterior distribution)，该过程相当于是高斯过程（通俗点说就是每次使用参数均均考虑之前参数的相关信息，从而更好的调整当前的参数）。贝叶斯调参采用高斯过程，考虑之前的信息，不断的更新先验；网格搜索活随机搜索未考虑之前的信息贝叶斯调参迭代次数相对较少，速度快；

空间的幅度全部等于1，那么相当于平面波在相加的时候，只有移动，而没有了各个波的大小信息，低频成分和高频成分全都一样了，所以图像应该比较嘈杂，变化比较剧烈，但是能看见大体的轮廓. （由于相位图逆变换结果只有少数像素值，只能将像素值相对高一些的提高亮度，否则特征十分不明显）空间的相位全部等于0，那么相当于平面波在相加的时候，都没有移动，所以图像一定会呈现一种周期性，而且中间的点一点很亮. 这是因为复平面波没有移动，那么所有的平面波在中心点相位为0，（值域），从而能较好的对边界部分进行处理.

YOLOv4 介绍及其模型优化方法一、YOLOv4 介绍2020 年 4 月，YOLOv4 在悄无声息中重磅发布，在目标检测领域引起广泛的讨论。在 YOLO 系列的原作者 Joseph Redmon 宣布退出 CV 领域后，表明官方不再更新 YOLOv3。但在过去的两年中，AlexeyAB 继承了 YOLO 系列的思想和理念，在 YOLOv3 的基础上不断进行改进和开发，于今年 4 月发布 YOLOv4，并得到了原作者 Joseph Redmon 的承认。YOLOv4 可以使用传统的 GPU 进行训

1.1R包介绍R包提供了一个加载所需代码、数据和文件的集合。R软件自身就包含大约30种不同功能的包，这些基本包提供了R软件的基本功能。与此同时，R作为一个开源软件，它以包的方式提供了各种统计计算函数，从而方便使用者能够灵活机动的进行数据分析。一个完整的R包要包含以下几个基本结构：package (包的名字)——DESCRIPTION (纯文本文件，可用记事本打开)——NAMESPACE (包的命名空间文件) ‍...

01 OpenCV框架与图像插值算法1.1 简介  在图像处理中，平移变换、旋转变换以及放缩变换是一些基础且常用的操作。这些几何变换并不改变图象的象素值，只是在图象平面上进行象素的重新排列。在一幅输入图象[u，v][u，v][u，v]中，灰度值仅在整数位置上有定义。然而，输出图象[x，y]的灰度值一般由处在非整数坐标上的（u，v）（u，v）（u，v）值来决定。这就需要插值算法来进行处理，常见的插值算法有最近邻插值、双线性插值和三次样条插值。1.2 学习目标了解插值算法与常见几何变换之间的关系理解

文章目录基本概念图形学 -- 光栅化(Rasterize/rasteriztion）路径追踪光线追踪算法前言1、Forward Tracing2、Backward Tracing光线追踪算法实现1、基本原理2、加入反射和折射3、代码和伪代码实现4、其他参考资料基本概念如果时间充裕，推荐paper，下载不下来的话，走这里。基于光线追踪渲染出的效果图光线追踪（Ray Tracing）算法属于三维图形渲染算法，其基本出发点就是追踪光线，模拟真实的光路和成像过程。相比于其他大部分渲染算法，优势是可以提

文章目录介绍理论基础棋盘格检测TODO: 以后开单章去介绍标定中的角点检测算法。基本符号图像平面与棋盘格平面之间的单应矩阵计算 A−TA−1A^{-T}A^{-1}A−TA−1计算相机内参矩阵计算相机外参矩阵SVD精调R优化外参估计镜头的畸变系数估计畸变的初值带畸变的代价函数TODO : 退化配置标定流程总结（包括算法）TODO：代码实现附录矩阵的F范数参考文献介绍张在论文中把相机标定方法分为两类：摄影测量标定法(Photogrammetric calibration) 和 自标定法(Self-cali

文章目录基本概念针孔相机模型 - 近似线性模型坐标系描述成像过程1、世界坐标系->相机坐标系2、相机坐标系–>象平面坐标系3、象平面坐标系–>像素平面坐标系4、世界坐标到像素坐标非线性模型参考资料基本概念aperture(光圈)：用来控制光线透过镜头的的装置，小孔成像模型中的孔径，光圈越大进光面积就会越大。depth of field(景深)：就是聚焦清晰的焦点前后“可接受的清晰区域”注：光圈越小，景深越大，光圈越大，景深越短，但光圈太小会产生衍射现象，如下图，第一张模糊是

问题线性判别分析（Linear Discriminant Analysis，LDA）是机器学习中常用的降维方法之一，本文旨在介绍LDA算法的思想，其数学推导过程可能会稍作简化。LDA的思想● LDA是一种线性的、有监督的降维方法，即每个样本都有对应的类别标签（这点和PCA）。● 主要思想：给定训练样本集，设法将样本投影到一条直线上，使得同类的样本的投影尽可能的接近、异类样本的投影尽可能地远离（即最小化类内距离和最大化类间距离）。下面分别通过《机器学习》和《百面机器学习》两本书中的图片先来直观地理

PCA算法原理主成分分析（Components Analysis，PCA）是机器学习中最经典的降维方法，也是面试中的家常便饭，因而有必要认真梳理一遍PCA的原理，甚至需要手动推导一遍。文章目录PCA算法原理数据降维PCA概念PCA之最大可分性（最大方差）最大化方差公式推导PCA求解过程总结PCA之最近重构性（最小平方误差）最小化平方误差优化目标PCA求解过程总结PCA的优缺点总结参考资料数据降维在理解PCA的概念之前，我们先来认识一下什么是数据降维。降维就是用低维度的向量来表示原始高维度的特征。例

问题ID3、C4.5、CART算法总结与对比前言ID3、C4.5、CART算法是三种不同的决策树算法，区别主要在最优划分属性的选择上，下面把之前在随机森林中汇总过的复制过来，然后再总结下三者的不同。三种算法所用的最优属性选择方法详述信息增益 (ID3决策树中采用)**“信息熵”**是度量样本集合纯度最常用的一种指标，假定当前样本结合 DDD 中第 kkk 类样本所占的比例为 pk(k=1,2,...,c)p_k(k = 1, 2, ..., c)pk​(k=1,2,...,c) ，则 DDD

问题k-means和GMM（高斯混合模型）都是聚类算法，这两者其实也有一定的相似之处，值得我们探究一下。通过之前的整理，我们对k-means算法已经有了一定的了解，这里就着重补充一下GMM的内容以及它们之间的区别与联系。高斯混合模型（GMM）● 定义：高斯混合模型是指具有如下形式的概率分布模型：P(x∣θ)=∑k=1Kαkϕ(x∣θk)其中，αk是高斯混合系数，αk≥0 且∑k=1Kαk=1;θk=(μk,σk2);ϕ(x∣θk)是第k个高斯分布模型的概率密度函数，具体形式如下：ϕ(x∣θ

问题k-means算法可以说是机器学习中大家最耳熟能详也是最基础的聚类算法，面试中也常常被问起，由浅至深，没有扎实的理论基础是很难过得了这一关的，因此，我们必须得梳理梳理并且深入理解它。k-means算法简介● k-means是一种聚类算法。所谓的聚类，就是指在不知道任何样本的标签的情况下，通过数据之间的内在关系将样本分成若干个类别，使得相同类别样本之间的相似度高，不同类别之间的样本相似度低。因此，k-means算法属于非监督学习的范畴。● k 是指 k 个簇（cluster），means 是指每个

问题随机森林算法思想，怎么增加随机性，如何评估特征重要性，为什么不容易过拟合随机森林思想怎么添加的随机性随机森林 (RF) 是 Bagging 的一个变体。RF在以决策树为基学习器构建 Bagging 集成的基础上，进一步在决策树的训练过程中引入随机性：传统决策树在选择划分属性时，是在当前结点的属性集合（假定有 d 个属性）中选择一个最优属性；而在 RF 中，对基决策树的每一个结点，先从结点的属性集合中随机选择一个包含 k 个属性的子集，然后再从这个子集当中选择一个最优属性用于划分。这里的参数

偏差与方差偏差指的是算法的期望预测与真实值之间的偏差程度，反映了模型本身的拟合能力；方差度量了同等大小的训练集的变动导致学习性能的变化，刻画了数据扰动所导致的影响。BoostingBoosting从优化角度来看，是用 forward-stagewise 这种贪心法去最小化 loss 函数,由于采取的是串行优化的策略，各子模型之间是强相关的，于是子模型之和并不能显著降低 variance，而每一个新的分类器都在前一个分类器的预测结果上改进，力求预测结果接近真实值，所以说 boosting 主要还是靠降

问题我们在机器学习文件夹的问题“11_三种集成学习思想简介”中大体上介绍了 bagging 思想，在这个问题中，我们便具体讨论下这种思想，且与DNN中的dropout思想做下对比。bagging要得到泛化性能强的集成，集成中的个体学习器应尽可能表现好且相互独立，即“好而不同”。但是“独立”的学习方法在现实任务中无法做到，因为同一个数据集，训练得到的学习器肯定不会完全独立，但可以设法使基学习器尽可能具有较大的差异。给定一个训练数据集，一种可能的做法是对训练样本进行采样，产生出若干个不同的子集，再从每个数

问题在上一个问题 “boosting思想” 中我们已经简单谈了下提升方法 boosting 的基本思路，这个问题让我们深入了解下 boosting 思想中最具代表性的算法 AdaBoost。GBDT和XGBoost《统计学习方法》与《机器学习》这两本书中都没有涉及，但是看别人在牛客网上的面经分享都有提到，其实这两个算法主要在竞赛中经常被用到，因此还是有必要了解一下。AdaBoost算法特点：不改变所给的训练数据，而不断改变训练数据权值的分布，使得训练数据在基本分类器的学习中起不同的作用利用基本分

集成学习集成学习通过训练多个分类器，然后将其组合起来，从而达到更好的预测性能，提高分类器的泛化能力。目前集成学习有３个主要框架：bagging、boosting、stacking。bagging套袋法bagging是并行集成学习方法的最著名代表，其算法过程如下：从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中）。共进行k轮抽取，得到k个训练集。（k个训练集之间是相互独立的）每次使

问题在我的一个传统图像处理项目中用到了图像配准技术，太久都忘了，为了防止面试被问到答不上来，这里还是要简要总结下。关于图像配准的概念，在另一个问题 “图像拼接原理介绍” 中也大体上介绍了一下，不过没那么详细。随着技术的发展，图像配准已经有了深度学习的方法，但是我们这里讨论的还是传统的基于特征的方法。图像配准流程假设我们要对一张参考图像和一张待配准图像之间进行图像配准，主要基于三个步骤：关键点检测和特征描述，特征匹配，图像变形。简而言之，我们在两幅图像中选择兴趣点，将参考图像中的每个兴趣点和它在待配

问题图像拼接是图像处理的基础之一，虽然自己并没有直接做图像拼接方面的研究，但在面试中却多次被问到这方面的内容，可见这个知识点还是很重要的。事实上，很多场景都会用到图像拼接的知识，例如运动检测与跟踪、游戏画面的重建等。本文参考自公众号“计算机视觉life”关于退昂拼接的一篇文章https://mp.weixin.qq.com/s/sHv-VOnn9WHQvq4hPOLgrA。这里主要关注在图像拼接的原理部分，所以对部分内容稍作删减和补充，主要介绍计算单应性矩阵H以及图像变形和融合。图像拼接介绍图像

霍夫变换的基本原理霍夫变换(Hough Transform)可以理解为图像处理中的一种特征提取技术，通过投票算法检测具有特定形状的物体。霍夫变换运用两个坐标空间之间的变换将在一个空间中具有相同形状的曲线或直线映射到另一个坐标空间中的一个点形成峰值，从而把检测任意形状的问题转化为统计峰值问题。（把这句话背下来吧）直线检测背景知识高中的时候我们都学过笛卡尔坐标系 (x, y) 也就是直角坐标系，在这个坐标系中可以有很多种方法来表示一条直线，例如点斜式 y−b=k∗(x−a)y - b = k*(x -

问题形态学中的膨胀、腐蚀、开操作和闭操作是图像处理中常见的问题之一，因为自己偶尔会记混“开操作和闭操作”的概念和应用，所以整理一下当作复习复习。形态学中最基本的操作是膨胀和腐蚀，它们能实现很多功能：例如消除噪声、分割出独立的图像元素以及在图像中连接相邻的元素等。膨胀● 膨胀是指使用卷积核B（可以理解为模板）对图像A（或者某部分区域）进行卷积操作，卷积核可以是任意形状或大小。● 卷积核B通常有一个自定义的参考点(anchor point)，一般位于中心位置。● 膨胀是求局部最大值的操作。当卷积核B

文章目录中值滤波性质中值滤波原理边界处理优化方法一般方法优化方法一维中值滤波问题数据结构的设计树状数组华丽登场树状数组原理和实现再说Median Filter代码实现参考资料中值滤波性质中值是一个比均值更稳健的平均值，因此邻域中一个非常不具有代表性的像素不会对中值产生显著影响。可以保护图像尖锐的边缘。由于中值实际上必须是邻域中一个像素的值，当过滤器跨界时，中值过滤器不会创建新的不现实的像素值。由于这个原因，中值滤波器比平均滤波器在保留锐边方面要好得多。可以有效的消除脉冲噪声，例如椒盐噪声。加权中

文章目录双线性插值(Bilinear Interpolation)性质单线性插值原理双线性插值原理图像坐标的前向映射和反向映射前向映射反向映射原图像和输出图像几何中心的对齐优化方法代码实现参考资料双线性插值(Bilinear Interpolation)性质当对相邻四个像素点采用双线性插值时，所得表面在邻域处是吻合的，但斜率不吻合。并且双线性灰度插值的平滑作用可能使得图像的细节产生退化，这种现象在进行图像放大时尤其明显。单线性插值原理注：单线性插值是我自己取的名字，为了便于说明为了方便说明，先

文章目录概念均值滤波性质均值滤波原理均值滤波模板均值滤波的计算边界处理补零填充边界复制填充镜像填充块填充优化方法代码实现参考资料概念均值滤波 是将每个像素点的像素值，用该像素点周围邻域(包括该像素点本身)的平均像素值替代。从频域来看，均值滤波属于低通滤波，即过滤掉图像高频成分（图像细节部分），保留图像低频成分（图像平滑区域），所以对图像进行 ‘均值滤波’ 后，图像会变得模糊。均值滤波性质优点：算法简单，计算速度快；缺点：降低噪声的同时，也会使得图像产生模糊。均值滤波原理均值滤波指定

文章目录概念高斯滤波性质高斯模糊原理高斯函数高斯核(高斯模板)高斯滤波计算边界处理优化：高斯函数分离特性代码实现参考资料概念高斯滤波(Gaussian filter) 包含许多种，包括低通、带通和高通等，我们通常图像上说的高斯滤波，指的是 高斯模糊(Gaussian Blur) ，是一种 高斯低通滤波 ，其过滤掉图像高频成分（图像细节部分），保留图像低频成分（图像平滑区域），所以对图像进行 ‘高斯模糊’ 后，图像会变得模糊。高斯模糊对于抑制 高斯噪声 (服从正态分布的噪声) 非常有效。高斯滤波性质

文章目录RANSAC简介RANSAC 步骤RANSAC 原理RANSAC 迭代次数推导OpenCV RANSAC的效果展示RANSAC直线拟合代码（C++及Python版本）RANSAC优缺点参考资料RANSAC简介RANSAC（RANdom SAmple Consensus）随机抽样一致算法，是一种在包含离群点在内的数据集里，通过迭代的方式估计模型的参数。举个例子，我们计算单应性矩阵时，初始匹配有很多的误匹配即是一个有离群点的数据集，然后我们估计出单应性矩阵。RANSAC是一种算法的思路，在计算机视

FPN网络的上采样过程用到了最近邻插值（转置卷积也是一种上采样方法，具体在其他问题中介绍），Mask R-CNN的 ROI Align 中用到了双线性插值，本科选修课上课时候听了一下，现在却忘了，又得花时间捡起来……背景知识其实图像插值分为图像内插值和图像间插值两种。图像内插值的主要应用是对图像进行放大以及旋转等操作，是从低分辨率的图像生成高分辨率图像的过程，用以恢复图像中丢失的信息，使得图像更清晰，细节信息更多，相邻像素之间的过渡更加有连续性。也就是单帧图像的图像重建过程。而图像间插值，也叫图像的

问题这个问题应该是做过传统图像处理的人都接触过的吧。粗略总结下，应该也不会问太细，面试官大概就考察下大家的知识面吧。综述边缘检测是图像处理和计算机视觉中，尤其是特征提取中的一个研究领域。图像边缘检测大幅度地减少了数据量，并且剔除了可以认为不相关的信息，保留了图像重要的结构属性。图像边缘是图像最基本的特征，所谓边缘(Edge) 是指图像局部特性的不连续性。灰度或结构等信息的突变处称之为边缘。例如，灰度级的突变、颜色的突变,、纹理结构的突变等。边缘是一个区域的结束，也是另一个区域的开始，利用该特征可以分

问题今天整理整理FAST、BRIEF、ORB算法的原理。FAST算法一、FAST简介FAST（features from accelerated segment test）是一种角点检测算法，可以用于提取特征点，后来也长用于目标跟踪等计算机视觉任务中。FAST角点检测算法最初由 Edward Rosten 和 Tom Drummond 提出，并于2006年正式发表。如名字所示，FAST算法最大的优势就是计算效率，相比于其他特征检测算法（例如SIFT、SUSAN、Harris和DOG等）更加快速。此外

问题在深度学习目标检测算法问世之前，HOG+SVM可以说是最经典的传统目标检测算法了，既然是经典，那自然需要了解了解对吧。所以今天我们就来看一看，HOG是如何进行特征提取的。HOG简介HOG（Histogram of Oriented Gradient，即方向梯度直方图）是应用在计算机视觉和图像处理领域，用于目标检测的特征描述子，由Navneet Dalal和Bill Triggs等人在2005年CVPR发表的论文上提出。HOG通过计算和统计图像局部区域的梯度方向直方图来构建特征，结合SVM等分类器常

问题LBP是一种常见的特征描述算法，用来提取局部的纹理特征，其原理其实很简单，下面我们就来看看它是怎么一回事吧。LBP简介LBP（Local Binary Patterns，局部二值模式）是一种很简单但很高效的局部纹理特征描述算子，于1994年由T. Ojala, M. Pietikäinen和D. Harwood提出，经过后续的改进，LBP特征具有旋转不变性和灰度不变性，在机器视觉领域中得到了广泛的应用，如人脸识别、指纹识别、光学字符识别以及车牌识别等。LBP算子的优缺点参考： https://

文章目录2D空间中的变换正交变换等距变换群欧式变换旋转相似变换仿射变换仿射变换的分解SVD分解。QR分解射影变换群射影变换3D空间中的变换三维射影变换三维仿射变换群三维旋转相似变换群三维等距变换群变换之间的关系附录矩阵群正交矩阵性质参考资料2D空间中的变换正交变换在线性代数中，正交变换是线性变换的一种，它从实内积空间V映射到V自身，且保证向量变换前后，向量之间的内积不变。因为向量的模长与夹角都是用内积定义的，所以正交变换前后一对向量各自的模长和它们的夹角都不变。特别地，标准正交基经正交变换后仍为标准

问题我的项目中涉及到这两个网络，而网络的最重要的部分除了巧妙的结构设计外，当属损失函数的设计了，所以很多时候面试官都会问我，损失函数使用的是啥，我想他们期待我给的答案是自己设计的损失函数吧，但是做项目的时候我那么菜，根本没有能力去设计好吧（说得好像现在有似的……），所以都是使用人家原有的损失函数，并没做修改。时间久了，这些东西当再次被面试官问起的时候，希望我至少能把人家论文中的损失函数形式讲清楚吧。简单介绍下这两个网络目标检测的框架中包含4个关键模块，包括region proposal（生成ROI）

问题CNN 从 2012 年的 AlexNet 发展至今，各种网络结构层出不穷，尝试了几乎所有可能性的结构搭配以试图找到效果更好的那种，再通过结果去解释过程，这大概就是做深度学习的人的无奈之处吧，每天都有新论文发出，每天都会有新的网络结果，每个都比之前的提升一丢丢，琳琅满目，令人眼花缭乱，像我这样的便迷失其中，找不到一个确定的方向去研究，终究普普通通，无所建树。网络结构如此，卷积 (Convolution) 方式也不例外，各种可能性的卷积过程改变方式都出现了（以后大概还有出现新的卷积方式的），效果各异，

问题LSTM是深度学习语音领域必须掌握的一个概念，久仰大名，现在终于要来学习它了，真是世事无常，之前以为永远不会接触到呢，因此每次碰到这个就跳过了。前言LSTM (Long short-term memory，长短期记忆) 是一种特殊的RNN，主要是为了解决长序列训练过程中梯度消失与梯度爆炸的问题，因此要学习LSTM，必须先了解RNN是一个什么东东。RNNRNN (Recurrent Neural Network，循环卷积网络) 是一种用于处理序列数据的神经网络，比如文本分析中，某个单词的意思会因