qq_38375203的博客

推荐算法的效果离不开embedding的使用，embedding是推荐算法中很重要的一个组成部分，不过也是根据不同的业务需求和数据采取不同的embedding方式，在这里我也是稍微总结常用的几种embedding方法吧。用一句话来总结一下embedding就是将稀疏矩阵向量，变成稠密矩阵向量。...

最近想起总结一下常用的推荐指标了，觉得这也是最基础的知识点吧。不过这个也不是很全，只是将一些我认为基础的常用的进行了一下总结，后续在任务中遇到其他的再进行补充吧。比如我们常听到的AUC,MAP(MeanAveragePrecison),HR(HitRatio)，NDCG(NormalizedDiscountedCumulativeGain),等。...

这个绝对是重量级内容了，也是很基础的东西。对于模型来讲，不同的阈值会有不同的泛化能力，这时候，如果想比较两个模型的泛化能力，这个阈值的高低也会受到影响，所以就需要能够综合考虑着所有阈值下的模型的泛化性能，这样还可以使得模型适应与不同的任务，那这时候应该怎么评估模型呢？ROC曲线是常用的工具。在这里和我们前面说过的PR曲线是类似的（mAP）,但是在之前的PR曲线中横纵坐标是查准率和查全率。目标检测指标mAP详解。............

前段时间做了一个车牌检测识别的项目， 在识别阶段用了LPRNet。今天写一篇文章来记录一下自己对LPRNet的浅显认知吧，毕竟自己也不是这个方向的，仅做大体了解。LPRNet可以说是一个端到端的车牌识别算法，并没有预先进行字符分割，这就使得车牌识别的算法实时性强，并且准确性高、支持可变长字符车牌识别。早期的车牌识别算法主要是先进行字符分割然后在进行字符分类，但是字符分割很容易受到图像噪声以及分辨率的影响，但是在LPRNet上面，使用整张图片作为输入，输出最终的字符序列。具体而言，采用的是全连接层+CTC损失

前面讲过了AFM，AFM是对注意力机制的一个浅显的尝试，并没有基于业务上进行设计的一个模型。在工业领域例如在线广告上点击率（Click-through rate，CTR）预测是一个很重要的任务。在每次点击费用（cost-per-click，CPC）的广告系统中，广告按有效价格，即每千个有效成本（effective cost per mille，eCPM）排名，该价格是出价与CTR的乘积，而点击率则需要通过系统预估。因此，CTR预估模型的效果直接影响最终收益，并在广告系统中发挥关键作用。DIN是2018年阿里

YOLOV5和YOLOV4有很多相同的地方，最大的改变还是基础架构的变化。Yolov5官方代码中，给出的目标检测网络中一共有4个版本，分别是Yolov5s、Yolov5m、Yolov5l、Yolov5x四个模型。首先先看一下YOLOV5s的网络架构。上图即Yolov5的网络结构图，可以看出，还是分为输入端、Backbone、Neck、Prediction四个部分。（1）输入端：Mosaic数据增强、自适应锚框计算、自适应图片缩放（2）Backbone：Focus结构，CSP结构（3）Neck：FPN+P

前面讲完了V1、V2、V3，其中YOLOV4 和V3的网络区别就是多了CSP和PAN结构，以及一个SSP。贴一下网络结构图。 首先介绍一下网络结构中出现的各种组件。CBM：是由Conv+BN+Mish激活函数组成，和V3不同的是这里的激活函数由Leaky_relu换成了Mish。CBL：这个组件就是YOLOV3中的最小组件，但是在这里V4 将CBL放在了Neck模块里，并没有放在Backbone。Res unit：借鉴Resnet网络中的残差结构，让网络可以构建的更深。CSPX：借鉴CSPNet网络结构，由

前面的V1、V2已经讲完了，再讲解一下YOLOV3了。v3除了网络结构，其余变动不多，主要是将当今一些较好的检测思想融入到了YOLO中，在保持速度优势的前提下，进一步提升了检测精度，尤其是对小物体的检测能力。具体来说，YOLOv3主要改进了网络结构、网络特征及后续计算三个部分。YOLOv3继续吸收了当前优秀的检测框架的思想，如残差网络和特征融合等，提出了如图下图所示的网络结构，称之为DarkNet-53。作者在ImageNet上实验发现darknet-53相对于ResNet-152和ResNet101，不仅

前面我们已经讲解过了YOLOV1，因此在这里我会接着前几天的讲解，进一步写一下YOLOV2的基本思想和改进。YOLOv2的论文全名为YOLO9000: Better, Faster, Stronger，它斩获了CVPR 2017 Best Paper Honorable Mention。在这篇文章中，作者首先在YOLOv1的基础上提出了改进的YOLOv2，然后提出了一种检测与分类联合训练方法，使用这种联合训练方法在COCO检测数据集和ImageNet分类数据集上训练出了YOLO9000模型，其可以检测超过9

前面已经将结果很多推荐系统+深度学习的基础模型了，从这篇文章开始也进入到了注意力机制的章节。在AFM开始，大家都不再局限于将特征进行两两交互问题上面，而是开始探索一些新的结构。"Attention Mechanism"这个词现在已经不是新东西了，它来源于人类自然的选择注意习惯， 最典型的例子就是我们观察一些物体或者浏览网页时，不会聚焦于整个物体或者页面，而是会选择性的注意某些特定区域，忽视一些区域，往往会把注意力放到某些显眼的地方。 如果在建模过程中考虑到注意力机制对预测结果的影响，往往效果会更好。 近年来

最近在公司实习，看到其实很多落地的模型都是基于yolo来改进的。在闲暇之余又重新温故了一下yolo系列，并想着将它们进行一个总结。今天就从V1下手，接下来的几个系列也会分别进行详解。相比起Faster R-CNN的两阶段算法，2015年诞生的YOLOv1创造性地使用端到端（end to end）结构完成了物体检测任务。直接预测物体的类别和位置，没有RPN网络，也没有Anchor的预选框，因此速度很快。YOLOv1是YOLO系列的基准，虽然后面在工程上面大家都是直接使用YOLOV5的开源代码，但是还得需要直

CTR预测任务中， 高阶特征和低阶特征的学习都非常的重要。 推荐模型我们也学习了很多，基本上是从最简单的线性模型(LR)， 到考虑低阶特征交叉的FM， 到考虑高度交叉的神经网络，再到两者都考虑的W&D组合模型。 其实这些模型又存在着自己的问题，也是后面模型不断需要进行改进的原理，主要有下面几点：简单的线性模型虽然简单，同样这样是它的不足，就是限制了模型的表达能力，随着数据的大且复杂，这种模型并不能充分挖掘数据中的隐含信息，且忽略了特征间的交互，如果想交互，需要复杂的特征工程。FM模型考虑了特征的二阶交叉，

相信刚刚接触目标检测的小伙伴也是有点疑惑吧，目标检测的知识点和模型属实有点多，想要工作找CV的话，目标检测是必须掌握的方向了。我记得在找实习的时候，面试官就问到了我目标检测的指标是什么，答：mAP！问：mAP是什么？我：.......!☺所以在本文中我也是详细说一下mAP 的含义，有什么不对的或者不全的欢迎大家指正！mAP是mean of Average Precision的缩写，意思是平均精确度（average precision）的平均（mean），是object detection中模型性能的衡量标准

NMS（non maximum suppression），中文名非极大值抑制，在很多计算机视觉任务中都有广泛应用，如：边缘检测、目标检测等。这里主要以人脸检测中的应用为例，来说明NMS，并给出Matlab和C++示例程序。以下图为例，由于滑动窗口，同一个人可能有好几个框(每一个框都带有一个分类器得分)。而我们的目标是一个人只保留一个最优的框：于是我们就要用到非极大值抑制，来抑制那些冗余的框： 抑制的过程是一个迭代-遍历-消除的过程。主要分为以下三步：（1）将所有框的得分排序，选中最高分及其对应的框：（2）遍

今天的模型是DeepFM，这算是一个非常经典的模型了。在介绍这个模型之前先针对之前模型的不足进行一个小总结，这也是DeepFM模型提出来的一个原因。CTR预测任务中， 高阶特征和低阶特征的学习都非常的重要。 推荐模型我们也学习了很多，基本上是从最简单的线性模型(LR)， 到考虑低阶特征交叉的FM， 到考虑高度交叉的神经网络，再到两者都考虑的W&D组合模型。 其实这些模型又存在着自己的问题，也是后面模型不断需要进行改进的原理，主要有下面几点：所以DeepFM也就应运而生了，老规矩先看一下知识脉络图：DeepF

今天继续写王喆老师的《深度学习推荐系统》，我会根据已经梳理好的知识体系对其中的模型分别讲解。前面也已经讲过很多模型了，前一个模型是Deep&Cross其中是对W&D模型的Deep部分进行的改进。按理说今天还是将根据W&D的思想衍生而来的其他模型，但是今天先讲一下FM在深度学习时代的三大延伸模型变体FNN(Factorization Machine supported Neural Network)模型， DeepFM(Factorization-Machine based Neural Network)模型

今天还是机器学习的基础知识内容，也是最基础的哈。首先说一下什么是正则化，其实它就是一个减少方差的策略。那么什么是方差呢？在这里也引入一个和方差相辅相成的概念--偏差。我们通常所说的过拟合现象，也就是指的高方差，就是模型在训练集上训练的超级好，几乎全部都能拟合。 但是这种情况如果换一个数据集往往就会非常差， 正则化的思想就是在我们的目标函数中价格正则项， 即：在这里正则项有两种，分别是L1和L2，先来看一下两者的表达式： 如果加上这种正则项，就是希望我们的代价函数小，同时也希望我们这里的小，这样就说明每个样本

最近要找工作，也是复习一下面经。之前经常看过的BN也是面试中的重中之重，记得当时面试华为诺亚方舟实验室的时候，面试官就问到了我BN和LN的区别，当时也仅仅是将这两者的区别说出来了，但是并没有进行扩展，现在想想也是有点后悔的（其实当时自己也不知道该扩展啥）。在今天也就做一下总结，来概括一下这两者的区别以及BN的动机原理。在机器学习领域有个非常重要的假设样本之间的独立同分布，也就是训练数据和测试数据假设是满足相同分布，这样我们通过训练数据训练模型才能够在测试数据上获得较好的效果(这个独立同分布是一个前提)。 然

前面个讲过了MobileNet系列，从V1到V3做了很多改进，效果也是越来越好。但是这些改进很多都是基于block来进行改进的，而这一问题就可以让我们直接将这个block用于其他backbone上面，并有着优秀的性能。在今年年初读到的这篇文章，当时就觉得很不错，也是仔细刨析了一下现在卷积和transformer的较量，给了我们坚定卷积的决心。在这篇文章中也是涉及到了前面中block中的一些改变。不过这些改变不是为了轻量型而做出的，在这里也是总结一下。感兴趣的小伙伴也可以看一下我前面这篇文章：MobileNe

本篇讲一下CV相关的东西，MobileNet，想必大家已经很熟悉了，包括里面的一些模块，一些轻量型思想也是经常用到的。在这里我也是想着做一下总结，整理一下，也讲一讲自己的理解和看法。卷积神经网络CNN已经普遍应用在计算机视觉领域，并且已经取得了不错的效果。近年来CNN模型深度越来越深，模型复杂度也越来越高，如深度残差网络（ResNet）其层数已经多达152层。然而，在某些真实的应用场景如移动或者嵌入式设备，如此大而复杂的模型时难以被应用的。首先是模型过于庞大，面临着内存不足的问题，其次这些场景要求低延迟，或