- 博客(112)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 深度学习 图像分割综述
图像分割在计算机视觉中是个重要的任务，在地理信息系统、医学影像、自动驾驶、机器人等领域都有着很重要的应用技术支持作用。本篇博客主要做了一个图像分割算法的综述，从两方面进行论述，一个是语义分割，在前面博客也提到相关的算法，详见Deeplab语义分割。另一方面是实例分割，详见实例分割综述，MaskRCNN。...
2022-07-26 10:51:35
1814
原创 C++部署深度学习模型
在部署大规模深度学习应用的时候，要想满足应用需求或者压榨模型的性能，C++可能是比python更好的选择方案。基于此，特地记录最近的C++的学习经历。其实以终为始来思考为什么学习C++，首先是为了能够很好地提升模型的性能，满足应用场景中的高可用，高并发，低时延等要求。为了提升模型的性能，需要用到一些推理框架，如TensorRT、NCNN或者Openvino（本文中以TensorRT作为案例）。TensorRT在8.0以上的版本都支持Python的API了，但还是有必要学习C++。ONNX模型转换和优化。..
2022-07-24 16:10:12
7234
1
原创 机器学习 EM算法理解
EM算法与极大似然算法相似，是一种解决问题的思想，解决一类问题的框架，和线性回归，逻辑归回，决策树等一些具体算法不同，极大似然算法更加抽象，是很多具体算法的基础。本文主要从一个例子出发，从极大似然到EM算法。本文主要参考人人都能看懂EM算法。......
2022-07-17 11:01:10
757
原创 深度学习 主动学习（Active Learning）概述、策略和不确定性度量
主动学习是指对需要标记的数据进行优先排序的过程，这样可以确定哪些数据对训练监督模型产生最大的影响。主动学习不是一次为所有的数据收集所有的标签，而是对模型理解最困难的数据进行优先级排序，并仅对那些数据要求标注标签。然后模型对少量已标注的数据进行训练，训练完成后再次要求对最不确定数据进行更多的标注。通过对不确定的样本进行优先排序，模型可以让专家（人工）集中精力提供最有用的信息。这有助于模型更快地学习，并让专家跳过对模型没有太大帮助的数据。这样在某些情况下，可以大大减少需要从专家那里收集的标签数量，并且仍然可以得
2022-07-12 11:03:24
2021
原创 深度学习 数据长尾问题
文章目录前言参考前言最近忙着工作，上班下班放假时间都被工作沾满了，都没什么时间写博客。今天看了一篇文章万字综述：如何打造自动驾驶的数据闭环？，刚好在跟最近在做的目标检测有关系，于是写下这篇博客记录遇到的问题。参考Long-Tailed Classification (1) 长尾(不均衡)分布下的分类问题简介...
2022-05-30 16:40:15
3536
原创 卡尔曼滤波
文章目录前言卡尔曼滤波解释使用矩阵描述问题外部控制变量外部干扰用测量值来修正估计值融合高斯分布前言在先前的视频目标检测任务中，应用了DeepSort算法。DeepSort算法是由Sort算法加入“Deep”即卷积神经网络演进而来的。Sort算法主要有两个部分，一个是卡尔曼滤波，另一个是匈牙利距离。其中卡尔曼滤波有一个非常形象的例子就是火箭升空时如何测量火焰的温度。我们不可能直接将温度测量仪放在喷火处，因为没有这么耐热的材料。但可以放在外壳，测量外壳的温度，通过卡尔曼滤波即可测量。当然这只是个例子，测量火
2022-05-23 11:45:17
658
原创 Python 使用Flask传输视频流
文章目录前言StreamingFlask实现流构建实时视频流视频流优化前言最近有一项任务，将视频中目标检测的结果传输给前端。这个任务很好实现，按照实际，对每一帧的视频进行检测然后返回图像流在前端进行展示。然而上头要求不返回视频流，要的是返回检测结果。听到这项任务就纳闷，理论上只需要返回数据流，但是又感觉哪里有点说不出奇怪，于是写下这篇文章梳理整个结果。本篇博客主要参考：Video Streaming with Flask和Flask Video Streaming Revisited。代码请参考：fla
2022-05-16 15:04:27
6933
2
原创 ImageInpaint：图像修复
文章目录前言传统方法深度学习参考前言传统方法YearProceedingTitleTag2000SIGGRAPH 2000Image Inpainting [pdf]Diffusion-based2001TIP 2001Filling-in by joint interpolation of vector fields and gray levels [pdf]Diffusion-based2001CVPR 2001Navier-stokes, fl
2022-04-26 09:42:14
2468
转载 数仓建设以及数据治理
文章目录前言数仓设计数仓架构数仓建模方法建模实际业务中的数仓分层数据层的具体实现数据治理数据治理之道数据治理方式规范治理架构治理以下文章来源五分钟学大数据，作者园陌，关于数仓建设及数据治理的超全概括前言数仓分层的原因:用空间换时间，通过大量的预处理来提升应用系统的用户体验，因此数据仓库会存在大量冗余的数据；不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大，所谓动一发而牵全身。通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把
2022-04-24 10:56:43
832
原创 系统集成项目管理工程师14 总结
项目管理过程组与知识领域启动过程组规划过程组执行过程组监控过程组收尾过程组项目整体管理制定项目章程制订项目管理计划指导与管理项目执行监控项目工作 、整体变更控制结束项目或阶段项目范围管理制订范围管理计划、收集需求、范围定义、创建工作分解结构范围确认、范围控制项目进度管理制订进度管理计划、活动定义、活动排序、活动资源估算、活动历时估算、制订进度计划进度控制项目质量管理制订质量管理计划质量保证质量控制项目成本管理指
2022-03-31 15:22:39
5332
原创 YOLOX的深入理解
文章目录前言Decouple headStrong data augmentationAnchor FreeMulti positivesSimOTAEnd-to-end YOLOBackbone前言Decouple head27 34Strong data augmentationAnchor Free2940142411Multi positives29SimOTA4End-to-end YOLOBackbone
2022-03-31 09:25:49
12783
4
原创 深度学习模型部署之模型优化
文章目录前言模型剪枝模型量化前言前段时间看了知乎有一个问题：训练好的深度学习模型是怎样部署的？，当中有一个高赞的回答，大致意思如下：深度学习部署方式取决于你的需求：需求一：简单的demo演示，看看效果。只需要把训练模型切换到inference模式或者用CPython包装供C++工程进行调用。需求二：放到服务器上开启服务，不要求吞吐不要求时延。基于训练框架（tensorflow，pytorch，caffe）等用C++部署一套。这种尚未脱离框架，导致占用存储空间。需求三：放到服务器上要求吞吐和时延
2022-03-24 10:38:21
3987
原创 目标检测2022最新进展
文章目录前言Swim Transformer V2Swin TransformerDynamic HeadYOLOFYOLORYOLOXScaled-YOLOv4Scale-Aware Trident NetworksDETRDynamic R-CNN前言之前目标检测综述一文中详细介绍了目标检测相关的知识，本篇博客作为扩展补充，记录目前（2022）目标检测的最新进展，主要是在coco test-dev上霸榜且知名度较广的目标检测网络。具体详情可参考相关论文或者代码。Swim Transformer V
2022-03-17 16:20:56
33296
4
原创 Docker配置GPU问题
最近在部署深度学习模型，用到Docker，在推理阶段需要用到GPU，因此有了这个需求：通过Docker使用服务器上的GPU设备。在这里就不详细展开，网上有很多的教程。Docker19.0以上就支持nvidia-docker了。而在配置过程中主要记录两个bug：docker --gpus Failed to initialize NVML: Unknown Error解决方案：https://bbs.archlinux.org/viewtopic.php?id=266915nvidia-con
2022-03-11 16:37:16
1608
原创 《生产系统中的机器学习建模管道》笔记
文章目录前言自动化机器学习模型资源管理技术高性能建模模型分析可解释性前言自动化机器学习模型资源管理技术高性能建模模型分析可解释性
2022-03-02 10:44:40
372
原创 机器学习特征选择方法
文章目录前言特征选择过滤法Pearson系数卡方检验互信息和最大信息系数距离相关系数方差选择法包装法嵌入法总结前言最近在看吴恩达的深度学习机器学习课程。地址：deeplearningai。课程在机器学习特征工程的课程中提到特征选择。在机器学习项目生命周期里，特征工程占据很大的比重，特征工程关乎最终模型性能的好坏，正所谓“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已”。而特征选择是特征工程的一个重要问题，本文结合【机器学习】特征选择(Feature Selection)方法汇总一文，一
2022-03-01 11:55:15
3702
转载 面试经历：阿里P8面经
文章目录前言背景面试内容系统整体架构主要业务场景技术重构技术难点项目管理团队管理闲聊人生P9面版权声明前言本篇博客主要转载：被阿里P8面了两个小时，技术、业务有来有回…。文章提及的知识以及经验都非常好，非常专业，能够起到一定的启发作用。于是特意以此文章来记录。背景这次面试流程足足横跨三个部门，其中既有侧重业务的部门，也有侧重技术的部门。在省略三次面试的前提下，实际面试轮次有七次。整个过程的心理压力还是比较大的，毕竟每多一次面试轮次，就多一份落选的可能。尤其转战三个部门还都是由于公司方面的原因…面试范
2022-03-01 09:11:59
1363
原创 深度学习数据集大全
文章目录前言人脸数据集地球信息数据集前言深度学习是以数据为驱动的技术，在使用深度学习进行科研或者工作当中，都离不开数据集。因此本篇博客整理我在工作当中遇到的一些数据集。如人脸数据集，地球信息的数据集。数据集来源有一些比赛的数据集，如kaggle，还有一些团队公开发表的数据集。数据集都尽可能地贴出链接，贴不出链接只能自己寻找，然后你懂得。人脸数据集哥伦比亚大学公众人物脸部数据库数据集链接：http://m6z.cn/5DlIR9。该数据集是一个大型的人脸数据集，主要用于人脸识别和身份鉴定，涵盖互
2022-02-28 10:08:00
4263
1
原创 深度学习模型大小的探讨
文章目录前言模型大小评估指标计算量参数量访存量内存占用小结模型推理影响因素计算密度与 RoofLine 模型计算密集型算子与访存密集型选自推理时间硬件限制对性能上界的影响系统环境对性能的影响小结面向推理速度的模型设计方法论网络设计建议前言在运算资源有限制的机器上部署深度学习模型，需要了解模型大小和模型推理速度的关系，设计能发挥硬件计算能力的模型结构。而衡量模型大小和模型推理速度关系往往跟计算量、参数量、访存量、内存占用等指标密切相关。因此本博客对这些指标进行分析，介绍这些指标对模型部署推理的影响。本篇博
2022-02-25 10:18:42
2691
原创 深度学习之ResNet为什么有效
文章目录前言ResNet为什么有效ResNet结构参考前言残差网络（ResNet）是深度学习的一个重要的概念，在许多关于深度学习的任务中都能够找到它的身影。在这篇文章当中，结合一些文献对ResNet进行分析，介绍其思想以及有效性的一些可能解释。在开始之前，先引出以下两个问题：卷积神经网络的深度为什么重要？因为卷积神经网络的层数越多，意味着能够提取不同级别的特征越丰富。越深的网络提取的特征越抽象，越具有语义信息。增加网络深度是否可以提升性能？对于原来的神经网络，如果简单地增加网络深度，会导致梯度
2022-02-21 11:04:35
2768
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人