- 博客(27)
- 收藏
- 关注
RSS订阅原创 【深度学习】轻量级神经网络设计思路
【深度学习】轻量级神经网络设计思路0. 前言随着深度学习技术在各个领域获得了表现出极大的潜力，但大部分神经网络模型的计算复杂度都使其无法在计算资源受限的情况下（如移动端设备）得到很好的应用，于是，神经网络的轻量化备受关注。那么如何将神经网络模型设计得小型化、轻量化呢？部分研究成果为我们打开了思路，也一定程度上促成了AI技术的推广和落地。1. 轻量级神经网络设计轻量级神经网络设计的主要思路：有限的计算复杂度下实现尽可能高的模型表达能力。模型表达能力一定程度上同通道数相关，换言之，就是要不过分减
2021-06-17 16:51:49
1979
原创 【自动驾驶】自动驾驶车辆轨迹预测竞赛汇总——持续更新
自动驾驶关键技术之预测的介绍参见这篇博客【自动驾驶】自动驾驶轨迹预测思路和框架，适合用于背景和现状介绍，相关比赛汇总：Argoverse Motion Forecasting CompetitionArgoverse™是来自Argo AI的高清地图和传感器数据集，详见CVPR论文Argoverse: 3D Tracking and Forecasting with Rich Maps。nuScenes prediction challengenuScenes预测任务的目标是预测6秒视界内a
2021-06-16 17:17:23
1656
原创 【深度学习】模型压缩——量化
基本原理将浮点存储（运算）转换为整型存储（运算）的一种模型压缩技术。例：原本需要用 float 32 表示的权重，量化后只需要使用 int 8 表示，仅仅这一个操作，可以获得接近4倍的网络加速！(float 32 指的是 32 位的 float 型数据，int 8 指的是 8 位的数据。)一般情况下不同数据类型所占位数或字节数参考：数据类型位数字节数int占一个内存单元：如 64 位系统一个内存单元占 64 位64 位系统：8 字节32 位系统：4 字节16 位系统
2021-06-16 15:12:12
954
原创 【算法求职】转行算法岗，如何准备？
文章目录前言0. 查找岗位1. 如何通过简历筛选1.1 简历制作1.2 简历内容1.3 简历投递2. 沉稳应对面试2.1 面试开场2.2 编程部分2.3 交流项目2.4 反问环节3. HR面试4. 小结前言又到了找实习的时间，秋招也快到了。部分天坑专业的同学都十分渴望转到计算机行业，算法岗是重灾区，加上算法岗本身就是卷中卷，对非科班同学的不友好程度可想而知。这里介绍一些对于转行的同学而言，找实习和找工作需要做的一些准备和常用的平台。求职过程中大体流程包括：#mermaid-svg-xJdGyGJaV
2021-06-15 00:28:52
867
2
原创 【常用工具】用Typora写出标准格式的文章——推荐给强迫症
用Typora写出标准格式的文章——推荐给强迫症这里介绍一些我经常会用到的一些让Typora格式看起来更标准的指令。文章目录用Typora写出标准格式的文章——推荐给强迫症1.图片调整——居中、尺寸、居中图注1.1图片居中1.2图片尺寸1.3居中图注2.公式——编号1.图片调整——居中、尺寸、居中图注1.1图片居中加上#pic_center就可以使得图片居中（可直接导入CSDN）1.2图片尺寸![在这里插入图片描
2021-06-09 21:45:06
784
1
原创 【深度学习】Transformer原理篇——浓缩的精华
目录文章目录目录0. 前言1. 认识Transformer1.1 Seq2Seq模型与Attention机制1.2 Transformer1.2.1 Transformer基本结构1.2.2 Transformer的注意力机制1.2.3 Transformer的位置编码2. Transformer的应用探索2.1 NLP2.2 CV参考0. 前言Transformer由Google在《Attention Is All You Need》这篇论文中被提出，主要用于处理Seq2Seq（序列到序列，Sequ
2021-06-08 20:03:37
1625
1
原创 【自动驾驶】自动驾驶轨迹预测思路和框架，适合用于背景和现状介绍
更清楚的内容详见：http://naotu.baidu.com/file/2dda13543abc262167ee7f3490386a63?token=499070fd89602ca5密码：Zhou
2021-05-31 15:50:27
1464
3
原创 【常用工具】horovod 运行指令含义
指令作用-npGPU总数-H localhost本地服务器使用的GPU数-H server n:NN 表示第 n 个 server 使用的GPU数量运行在一台机器的4个GPUs上horovodrun -np 4 -H localhost:4 python train.py运行在四台机器的4个GPUs上horovodrun -np 16 -H server1:4,server2:4,server3:4,server4:4 python train.py...
2021-02-04 14:23:30
632
原创 【笔试面试】Pytorch为何称之为动态图模型？
顾名思义，动态图就是可变化的图，静态图就是不可变的图。所以很容易产生如下疑问：这里的图是指什么？可变不可变又是怎么实现的？各自有什么优势？带着疑问看了些资料，简单整理了一下。深度学习框架的“图”指的是什么？这里的图其实指的是计算图，一种用来描述运算的有向无环图。包含两个主要元素：节点(Node)：节点表示数据，如向量、矩阵、张量。边(Edge)：边表示运算，如加减乘除卷积等。示例：其中，x,y,z,gx,y,z,gx,y,z,g 分别为节点，+,∗+,*+,∗ 为节点之间的操作，
2021-01-22 14:49:09
509
1
原创 【机器学习】K-means怎么确定K
K-means算法流程设置聚类中心数K从数据集中随机选取K个数据作为初始聚类中心对数据集中每个样本计算同聚类中心的距离，归入距离最小的类簇对更新的类簇分别计算新的聚类中心重复3-4，直到新的聚类中心到旧的聚类中心的距离小于某个阈值，或达到迭代次数上限那么K值如何选取呢？也就是如何估计类别数？直观选取：数据可视化，通过样本空间的分布确定大致类别数；定量分析：手肘法：随着聚类数k的增大，样本划分会更加精细，每个簇的聚合程度会逐渐提高，误差平方和SSE逐渐变小。流程就是
2020-11-21 22:10:43
5036
3
原创 【笔试面试】FLOPs计算——精简版
卷积层 (2×Ci×K2−1)×H×W×Co\left(2 \times C_{i} \times K^{2}-1\right) \times H \times W \times C_{o}(2×Ci×K2−1)×H×W×Co式中，Ci,CoC_i,C_oCi,Co 输入输出通道数，KKK 卷积核大小，H,WH,WH,W 输出 Feature Map 的大小。(2×Ci×K2−1)=(Ci×K2)+(Ci×K2−1)\left(2 \times C_{i} \times K^{2}-1\righ
2020-11-21 22:05:51
316
1
原创 【笔试面试】深度学习上采样
深度学习上采样主要有三种：插值：最邻近插值、双线性插值、三两次插值等反卷积（转置卷积 ）：其实就是在每个元素之间先填充0再卷积反卷积也称为转置卷积，如果用矩阵乘法实现卷积操作，将卷积核平铺为矩阵，则转置卷积在正向计算时左乘这个矩阵的转置WT，在反向传播时左乘W，与卷积操作刚好相反，需要注意的是，反卷积不是卷积的逆运算。一般的卷积运算可以看成是一个其中非零元素为权重的稀疏矩阵C与输入的图像进行矩阵相乘，反向传播时的运算实质为C的转置与loss对输出y的导数矩阵的矩阵相乘。逆卷积的运算过程
2020-11-21 22:02:26
547
原创 【笔试面试】防止或减轻过拟合的方法
过拟合是指模型在训练集上表现很好，但是验证集和测试集上表现一般，泛化能力差。过拟合出现的可能原因：样本规模：样本数量太少、不足以覆盖业务场景噪声干扰：样本存在大量噪声，模型将噪声的特征也学到了模型能力：模型复杂度过高解决办法：对于样本较少的情况，可以考虑进行数据增强来生成一些数据，这样也可以减小噪声数据的占比正则化策略，在目标函数或者代价函数后面加上一个正则项。常见的有L1和L2正则化。 （左图为L1正则化，右图为L2正则化）L1正则化（拉普拉斯分布）是指权值向量WWW中各个
2020-11-21 21:58:46
591
1
原创 【笔试面试】秒懂深度学习模型小型化：蒸馏法、剪枝…
蒸馏：主要思想是，通过大模型指导小模型学习。剪枝：网络剪枝的主要思想就是将权重矩阵中相对“不重要”的权值剔除，然后再重新fine tune网络进行微调。紧凑模型设计：MobileNet 的 深度可分离卷积shufflenet 的 逐点群卷积(pointwise group convolution)和通道混洗(channel shuffle)，前者通过分组卷积降低计算量，后者促进信息在不同组之间流转...
2020-11-21 21:56:40
1122
原创 【笔试面试】MobileNet v1v2v3 简介，适合记忆
mobilenet-v1核心：深度可分离卷积普通卷积（第一个图）和深度可分离卷积（第二个图）如上图所示。深度可分离卷积原理：将 (K,K,C) 的卷积，分解为 c 个 (K,K) 的卷积核分别对每个通道进行卷积操作，然后拼接在一起用 N 个 (1,1,C) 再次卷积。参数量和计算量：Conv / DepwiseConv = 1/N + 1/K^2，比值约 1/8 到 1/9 之间此外，论文还提出步长为 2 的卷积核，卷积的同时充当下采样的功能。这种形式也正在逐渐代替池化层。mobilenet-
2020-11-21 21:54:40
2193
原创 【深度学习】Softmax和交叉熵损失是什么？香农信息量、熵、交叉熵又是什么？
这之前了解一下softmaxsoftmaxsoftmax的一些概念，区别于maxmaxmax，softmaxsoftmaxsoftmax的特点就在于他的softsoftsoft，有点像聚类里的软聚类和硬聚类的区别类似，softmaxsoftmaxsoftmax会给出属于各个类别是概率，而非直接归为某个类别。softmaxsoftmaxsoftmax计算也非常简单，公式如下：Softmaxi=ei∑jejSoftmax_i = \frac{e^i}{\sum_j{e^j}}Softmaxi=∑jejei
2020-09-06 23:02:28
254
原创 【深度学习】Focal Loss
计算视觉知识点Focal Loss背景one-stage目标检测任务中存在正负样本严重不均衡和难易样本不均衡的问题实际情况下，易分样本占比高，他们产生的损失会主导模型的损失。而很多情况下，难分样本的区分也同样非常重要。当易分样本或头部样本的损失占主导时，模型参数的更新很难对难分样本或尾部样本具有很好的泛化能力。解决思路正常的交叉熵损失Loss={−(1−p)log(p)y=1−plog(1−p)y=0Loss = \left\{ \begin{aligned} -(1-p)log(p) &
2020-09-04 23:28:41
260
原创 【笔试面试】排序算法稳定性
排序算法的稳定性排序算法相信大部分同学都非常熟悉，也是必备知识点。但我也相信，有相当一部分同学被问到**哪些排序算法的稳定的？**这个问题时，还是一脸懵逼。然后开始百度，取找类似这样的表（此处举例，如有侵权，立即删除）：那么，令人闻风丧胆的排序算法的稳定性到底是什么？理解性记忆究竟难不难？先来看看排序算法稳定性的定义：假定在待排序的记录序列中，存在多个具有相同的关键字的记录，若经过排序，这些记录的相对次序保持不变，即在原序列中，r[i]=r[j]，且r[i]在r[j]之前，而在排序后的序列中，r
2020-09-04 10:53:36
112
原创 【深度学习】关于负梯度方向，函数值下降最大的思考
负梯度方向是函数值下降最快的方向我想每一个接触接触机器学习或者深度学习的人都对这句话倒背如流，但是随着时间的推移，很多概念及其背后的数学原理变得模糊。也是因为面试过程中被问及“为什么负梯度方向是函数值下降最快的方向？”，所以才突然发现是时候需要巩固一下这些尘封在脑海深处的知识点了。基础概念什么是梯度？首先回顾一下导数、方向导数、偏导数这几个概念：导数（数）导数（导函数值，微商），指的是对于y=f(x)y=f(x)y=f(x)，当xxx在某点x0x_0x0处产生增量Δx\Delta{x}Δx.
2020-09-02 19:53:21
1065
原创 【深度学习】轻量级神经网络之MobileNet
前言：本文为MobileNet的简单介绍，尝试最少的废话进行介绍，适合快速入门。背景移动设备硬件资源和算力有限，不适合复杂深度学习模型。轻量级神经网络业内提出了SqueezeNet、ShuffleNet、NasNet、MnasNet、MobileNet以及EfficientNet等轻量级网络模型。本文主要介绍MobileNet。MobileNetMobileNet V1核心采用了深度可分离卷积降低计算量。普通卷积：对于输入W×H×CW\times{H}\times{C}W×H×C（C
2020-08-23 10:42:30
1182
原创 【深度学习】秒懂人脸识别，适合科普
背景用途识别出图片或视频中出现的人脸的身份。常见的业务场景：安检、打卡、刷脸支付等需要基于人脸进行身份识别的场合。当然，身份识别除了人脸识别外还包括指纹识别、虹膜识别等。特点便捷：生物特征，不像身份证等需要携带非强制：不需要对象配合，拍摄到人脸即可，这一点是其能够在安防领域发挥作用的重要原因非接触：无需与设备直接接触，避免传染病等并行处理：一张图片中包含多张人脸时可并行同时处理，不像指纹和虹膜必须依次进行基本步骤人脸检测人脸对齐（基于关键点）人脸编码（特征提取，像素化人脸解析（
2020-08-04 10:13:22
444
2
原创 【深度学习】iCartoonFace竞赛冠军算法总结
检测：paper: ACFD: Asymmetric Cartoon Face Detectorcode : Nonetricks:VoVNetV3, 加入OSA、eSE、ACB模块 --ACB模块有助于异常比例人脸的检测，且推理阶段不会增加计算成本ABi-FPN，Bi-FPN + ACBDAM, 动态Anchor机制，在线挖掘high-quality anchor（训练初期IOU较小的anchor不一定是背景anchor）MBC，边界二值分类损失，加入硬边界约束，有点像Triplet lo
2020-07-17 16:58:42
1011
1
原创 【深度学习】卡通动漫人脸检测
难点相比于人脸较为固定的高宽比，动漫人脸则夸张地多，卡通人脸中大约有10%的比例大于2.0或小于0.5；没有较为统一的特征，人类形象、动植物形象、机甲甚至怪物形象特点各异；存在较多特写镜头，目标占据整张图片的情况一些有用的tricks...
2020-07-17 15:19:08
2169
原创 【深度学习】人脸识别的Loss
人脸识别4个关键步骤人脸检测人脸对齐人脸编码，特征提取人脸匹配这里重点关注特征提取部分，为得到更优的特征而设计的不同的损失函数！何为更好的特征？损失函数又是如何影响模型输出的特征的呢？Softmax这一切就先从耳熟能详的softmax说起。分类模型可以看作表征模型和分类器组成，表征模型输出特征向量，分类器基于输入的特征完成特征到类别的映射。但是类别较多的情况下，我们通常不这么做，特征提取+相似度匹配作为一种更加高效的方法被广泛使用，人脸识别就是其中一个典型的例子。下面进入正题，开始
2020-07-16 21:38:48
786
3
原创 【常用工具】Linux下压缩&解压常用命令：rar,zip,tar
rarziptar & tar.gz & tar.bz2rar压缩全部文件压缩到file.rar，不含原先目录rar e file.rar按完整目录结构压缩rar Path file.rar解压全部文件解压到当前目录下，不含目录结构unrar e file.rar解压完整目录结构unrar x file.rarzip...
2020-06-28 14:49:41
178
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人