- 博客(16)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 理解知识蒸馏
《理解知识蒸馏》 本文是对知识蒸馏方法在分类场景的应用来讨论的。知识蒸馏是一种从复杂模型向简单模型迁移知识的方法，我觉得和Label smooth有相似的地方，就是soft-labels，soft-labels有正则的功能，而且具有容错性。但是显然知识蒸馏得到的soft-labels会包含更多的所谓dark knowledge，能够让模型get到更多的信息。Key Words：Label smooth、dark knowledge、knowledge distillation Beijin.
2020-07-16 14:17:51
4153
2
原创 NNIE-lite 为算法工程师而生
《NNIE-lite》 趟过NNIE的小伙伴可能都知道，NNIE是有很多坑的，而且是纯C的环境，除非你有几年C的开发经验，否则阅读起来不是那么容易的，而作为算法工程师，我相信更多人和我一样擅长Python和C++，所以在把NNIE用起来还是有些费力的。而作为算法工程师，你的工作更应该 focus on 模型上，现在有了NNIE-lite这个项目，极大的帮助大家脱离苦海，算法工程师可以把目光聚焦在模型效果和效率上，而不用再为其他的琐事担心了，使用NNIE像用ncnn一样简单。Key Words：N.
2020-07-03 11:51:06
6255
原创 孤读Paper——《Deep Snake for Real-Time Instance Segmentation》
《Deep Snake for Real-Time Instance Segmentation》 论文借鉴了snake算法，将snake算法做成了轮廓结构化特征学习的方法。DeepSnake是基于轮廓的两阶段实例分割的方法，是接在目标检测后面的方法。通过目标检测的定位来初始化建议轮廓，然后对建议轮廓进行变形，是其对目标更加贴合。论文使用了循环卷积取得了比通用的图卷积能更好的挖掘轮廓的周期图结构。Key Words：Snake、Two-stage、Instance segmentation、 Ci.
2020-07-01 17:31:58
2774
原创 简记MobileNet系列
《简记MobileNet系列》 ImageNet竞赛至今，为了追求精度，模型深度越来越深，参数量也越来越大，这导致移动端场景的算力是无法支撑的。所以轻量级模型应运而生，Google提出了MobileNet系列模型，专注于移动端或者嵌入式设备中的轻量级CNN网络，在保持模型性能（acc）的前提下减少模型的参数量。重新回顾了mobilenet系列，可以看出，准确率在逐步提高，延时也不断下降。虽然在ImageNet上的准确率不能达到sota，但在同等资源消耗下，其优势就能大大体现出来。Key Word.
2020-07-30 18:26:54
2952
原创 简记AlexNet
《简记AlexNet》 文章《ImageNet Classification with Deep Convolutional Neural Networks》介绍的网络结构，是早期的经典结构，在2012年以较大优势夺得ImageNet竞赛的冠军，作者是Hiton的学生。Key Words：ReLU、LRN、Overlapping Pooling、Drop out Beijing, 2020作者：多伦多大学的Alex Krizhevsky等人 Paper：http://www.cs..
2020-07-28 10:40:36
138
原创 Caffe环境搭建指北
《Caffe环境搭建指北》 caffe的全称是Convolutional Architecture for Fast Feature Embedding，是一个清晰高效的深度学习开源框架，是贾扬清大神在2013年下半年利用空闲时间实现的，2013年12月开源的。caffe目前已经不再更新了，相比与pytorch以及TF2.0来说，该框架显得有些过时，但是对于做深度学习终端的开发者，caffe仍旧是很好的选择。不要自己趟这个坑，照着来吧，不会有问题。Key Words：Caffe环境搭建 B.
2020-07-22 18:36:14
5182
1
原创 简记SqueezeNet
《SqueezeNet》 对移动端算力有限的情况下对深度学习推理的场景越来越多，模型压缩技术应运而生，同为Deep Compression团队推出的SqueezeNet一经问世就广为流传，奉为经典，到目前为止，这篇论文的影响还是巨大的，在众多深度学习分支目标检测、分割以及分类等任务的模型压缩加速中，依然是重要轻量级backbone选择，如目标检测的SqueezeNet-ssd，甚至基于关键点的CornerNet目标检测算法在其加速版本CornerNet-lite中也是参考了SqueezeNet，并设.
2020-07-22 15:32:59
5005
原创 TF-Lite极简参考-模型转换
TF-Lite极简参考-模型转换《TF-Lite极简参考-模型转换》 TensorFlow Lite 可以很方便的把基于TensorFlow训练的模型进行转换，然后推理，在TensorFlow2.0中，keras被全面整合，可以使用tf.keras来更高效的构建模型，尽管前几天爆出TensorFlow2.0惊现大bug，并且一直被吐槽难用，但是受众依然很广，如果不用太多自定义的层，还是很稳定的。我大概是从TensorFlow 0.10版本开始用的，追了很久，也成功在服务端落地过很多OCR项目。
2020-07-20 17:45:27
7154
原创 TF-Lite极简参考-环境搭建
TF-Lite极简参考-环境搭建《TF-Lite极简参考-环境搭建》 Tensowflow Lite 是移动端计算机视觉应用程序中的明星产品，同为Google研发的产品，由于其和安卓的深度契合，使该框架受众很广，谷歌也基于TF Lite开发了很多应用，Mediapipe也是其中之一，非常推荐。本文记录了如何在Ubuntu系统以及RK3399以及Jetson系列产品如何搭建TF Lite环境。Key Words：TF lite、Cpp环境搭建 Beijing, 2020作者：RaySu
2020-07-18 16:39:56
1084
原创 交叉熵的故事
《关于交叉熵的故事》 做视觉三年多了，自己能力虽然提升了，但是总感觉没有沉淀下来一些可见的东西，所以从去年年末开始写博客，或者是翻译论文，或者是整理对一些知识理解的文章，总的来说赠人玫瑰，手有余香吧，还是挺有收获的，所以还是会继续坚持，把一些相对抽象的数学公式以故事的形式呈现出来，这也感谢很多前辈的文章。Key Words：熵、KL散度、交叉熵、BCE Beijing, 2020作者：RaySue Code： Agile Pioneer 信息量 交叉熵是信息论中的一个.
2020-07-18 11:09:48
373
原创 牛顿法
《牛顿法》 牛顿法（Newton method）和拟牛顿法（quasi Newton method）是求解无约束最优化问题的常用方法，有收敛速度快的优点。牛顿法是迭代算法，每一步都需求解目标函数的海塞矩阵（Hessian Matrix），计算比较复杂。拟牛顿法通过正定矩阵近似海塞矩阵的逆矩阵或海塞矩阵，简化了这一计算过程。Key Words：牛顿法、函数零点、最优化 Beijing, 2020作者：RaySue Code： Agile Pioneer 简介 牛顿迭代法.
2020-07-16 11:04:10
15239
1
原创 Center Loss
《A Discriminative Feature Learning Approach for Deep Face Recognition》 可鉴别性的特征学习用于人脸识别，对每个类别维护一个Center vector，然后对损失函数增加一项到Center向量的L2损失。使得各个类别的类内分布变小实现intra-class的compactness，从而特征更具区分性，对于人脸识别来说能够增大识别的把握。Key Words：Convolutional neural networks 、Face .
2020-07-09 18:44:17
2130
原创 Focal Loss
Focal Loss for Dense Object Detection 通过对不同样本的loss进行加权，从而达到聚焦于学习困难样本的方法，该方法普适性很强。Key words : Sample balance、Hard example、Focusing parameterSubjects: Computer Vision and Pattern Recognition (cs.CV)ICCV2017作者：RBG和KaimingAgile Pioneer 交叉熵的计算形.
2020-07-09 11:10:29
2655
原创 LabelSmooth
LabelSmooth 一种通过简单修改类别标签实现的分类问题优化方法，整理这个的同时我也明白了为什么使用交叉熵来做分类问题，很有收获。1−ϵ，i=y1 - \epsilon，i=y1−ϵ，i=y ϵK−1，i≠y\frac{\epsilon}{K-1}，i \not= yK−1ϵ，i=yAgile Pioneer Cross Entropy 我们在刻画两个分布间的距离时候经常使用交叉熵，至于为什么使用交叉熵而不是使用均方误差，我之前也有疑问，自从看了大神的论证才豁..
2020-07-08 20:03:07
4993
2
原创 C++多线程Demo
《C++多线程Demo》 多线程访问共享资源时，采取对资源加锁的方式来防止产生脏数据和错误。多线程访问同一个数据库时，数据库是共享资源，所以对库操作要加锁。对于操作同一个数据结构对象的时候也是一样的。Key Words：C++多线程、map接收线程结果 Beijing, 2020作者：RaySue Agile Pioneer 定义线程函数 用map接受线程返回数据, 这里介绍一种场景比较简单的多线程结果汇总的用法，使用map对多线程的结果进行收集，在线程读写的map的时.
2020-07-02 11:44:06
9301
5
原创 超像素
超像素是一种以聚类思想为初衷的方法，目的是为了对较大像素的图像进行区域划分，来帮助理解，本文介绍了一个开源项目在火灾检测场景使用超像素，比较巧妙，虽然效果不是很理想，但是提供了一个很好的思路。Key Words：超像素、火灾检测、OpenCV实现 Beijing, 2020作者：RaySue Code：https://github.com/tobybreckon/fire-detection-cnn Agile Pioneer 概念 超像.
2020-07-01 17:24:48
3759
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人