sunny0660的博客

影响LLM推理性能的因素有很多，包括但是不限于：模型配置、硬件类型、数据分布、优化算法、推理策略等。本位旨在综述各类技术点，后续会针对核心技术做详细展开。

Google TPU介绍

前言模型结构分析具体优化措施参考资料原文：Transformer离线部署-GPU优化策略前言本文主要介绍Transformer类网络在GPU设备上部署上的优化要点。 主要围绕Nvidia开源的FasterTransformer展开。模型结构分析标准的Transformer结构主要包括 Encoder 和 Decoder 两部分结构，具体结构分析可参考Transformer在CV领域的应用与部署：Encoder对应算子结构为：Decoder对应算子结构为：可以发现：Encod.

前言BERT发展历程BERT算法细节BERT后期发展参考资料原文链接：Bert-过去-现在-未来前言浅谈 BERT 系列网络，主要从三个维度介绍：发展历程、算法细节、后期发展。 背景知识： 自然语言处理（NLP）：其最终目的是理解复杂的语言/文字，主要任务包括：序列标注：如中文分词、词性标注、命名实体识别、语义角色标注等分类任务：文本分类、情感分析等句子关系判断：如QA，自然语言推理等生成式任务：机器翻译、文本摘要、写诗造句等。BERT发展历程NLP本质是对语言/文字进行合.

前言UML介绍监听模式状态模式中介模式装饰模式单例模式克隆模式职责模式代理模式外观模式迭代模式组合模式构建模式适配模式策略模式工厂模式命令模式备忘模式享元模式访问模式模板模式桥接模式解释模式过滤器模式对象池技术回调机制MVC模式设计原则前言#finished on 2022/02/02 整理设计模式结束～#update on 2021/10/06 开坑设计模式总结各个设计模式的基本概念和模板。设计模式源于 四人帮GoF 的 《设计模式：可复.

可能存在格式问题，可访问个人博客： Transformer在CV领域的应用与部署前言Transformer介绍Transformer for CVTransformer类网络部署参考资料前言浅谈 Transformer 原理以及基本应用以及模型优化的一些思考。Transformer介绍Transformer 最早出自Google 2017年发布的论文：Attention is all you need。Transformer 结构提出在于完全摈弃了传统的循环的"encoder-deco

之前简单整理过的简单笔记，但是感觉有点浅尝则止，知识点上不够明确。 本文系列主要为了分章节较为详细地梳理下 Python 的比较重要的知识点(主要基于 极客时间 课程)：Python-基本数据结构Python-闭包+装饰器Python-垃圾回收Python-metaclassPython-上下文管理器Python-单元测试...

layout: posttitle: 2D_Detection-超参date: 2021-10-04 11:02:51.000000000 +09:00categories: [算法篇]tags: [CV, 综述]mathjax: true前言详细介绍learning rate策略optimizerpostive && negative assinger前言本文重点介绍深度学习中一些基本参数设置，以及常用的技巧。详细介绍learning rate策略.

前言详细介绍样本不均衡常见Hard Example策略Focal Loss及其变种小物体检测如何融合多尺度特征脱离bbox看待问题检测密集遮挡场景nms引发的问题如何让定框变得准确？怎么解决高度重叠的场景？更多内容可访问个人博客：2D_detection检测综述前言通常来说，单一检测模型往往无法覆盖所有的场景；对于不同场景采用的不同的检测框架/训练数据/训练策略也是非常重要的。本文笔者简单归纳了几种常见的检测场景，并介绍该场景下一些通用的检测Trick.

layout: posttitle: 2D_Detection-Lossdate: 2021-10-01 16:44:56.000000000 +09:00categories: [算法篇]tags: [CV, 综述]mathjax: true更多内容可访问个人博客：2D_detection检测综述前言详细介绍分类任务LossCross Entropy LossKL散度Hinge Loss指数损失回归任务LossMAE LossMSE LossSmooth .

layout: posttitle: ONNX的模型优化与量化细节date: 2021-09-21 18:18:48.000000000 +09:00categories: [算法框架]tags: [离线推理]ONNX的模型优化与量化细节ONNX基本介绍什么是ONNX？ONNX全称为 Open Neural Network Exchange，是一种与框架无关的模型表达式。ONNX的规范及代码主要由微软，亚马逊 ，Facebook 和 IBM 等公司共同开发，以开放源代码的方式托管在G.

layout: posttitle: 2D_Detection-模型加速(工程篇)date: 2021-09-20 18:18:48.000000000 +09:00categories: [算法篇]tags: [CV, 综述]前言详细介绍工程加速DistillationMultiTask量化算子/图融合更多内容可访问个人博客：2D_detection检测综述前言深度学习网络的加速问题包含两部分内容：网络结构侧的加速和工程侧的加速。工程层面的加速，网络结构基本.

layout: posttitle: 2D_Detection-模型加速(网络篇)date: 2021-09-04 16:34:34.000000000 +09:00categories: [算法篇]tags: [CV, 综述]mathjax: true更多内容可访问个人博客：2D_detection检测综述前言详细介绍网络加速SqueezeNetMobileNetShuffleNetOneNet网络剪枝前言深度学习网络的加速问题包含两部分内容：网络结构侧.

layout: posttitle: 2D_Detection-经典检测框架介绍date: 2021-08-29 16:47:39.000000000 +09:00categories: [算法篇]tags: [CV, 综述]mathjax: true关于2D检测算法相关，更新于：2D检测算法综述另外本文可能公式可能存在格式问题，也直接可以访问：个人博客链接前言Two Stage算法RCNN系列Faster-RCNN总览基于Faster-RCNN改进算法One S.

layout: posttitle: Jekyll博客拓展–支持Latex&&图片加速date: 2021-08-21 13:19:24.000000000 +09:00categories: [环境配置]tags: [博客, Jekyll]mathjax: true前言Mathjax支持图床迁移构建Github仓获取CDN转换规则通过PicGo上传图片直接通过git自动上传前言对前文博客构建的扩展支持：基于Jekyll搭建博客Mathjax支持.

layout: posttitle: 2D_Detection-基本深度学习单元date: 2021-08-06 23:25:12.000000000 +09:00categories: [算法篇]tags: [CV, 综述]mathjax: true欢迎访问个人博客前言卷积层传统卷积可分离卷积转置卷积(反卷积)空洞卷积可形变卷积激活函数sigmoidtanhReLU以及变种swish池化层BN层GN层FRN层Dropout层全连接层.

layout: posttitle: 2D_Detection-Backbonedate: 2021-08-15 15:52:51.000000000 +09:00categories: [算法篇]tags: [CV, 综述]欢迎访问个人博客前言VGG-NetInceptionInception V1Inception V2 && V3Inception V4Inception ResNet V2ResNetDetNet前言简单介绍下在2D-de.

前言仅作为读书笔记,作适度拓展.公开数据集2D物体检测数据集:Pascal VOCObject365COCO3D物体检测数据集:KITTInuScenesLyftWaymoBackbone基本结构卷积层卷积操作类似滤波操作,原始图像可以通过卷积操作提取到图像的特征(如canny边缘特征等),不同的卷积核提取的特征不一致,CV的核心是通过可学习的卷积核层层提取特征,然后基于高维特征进行具体的任务.传统卷积卷积层通常指2D卷积层,其他还包括1D卷积层(通常处

layout: posttitle: 3D单目(mono 3D)目标检测算法综述date: 2021-01-22 22:08:39.000000000 +09:00categories: [算法篇]tags: [CV, 3D, 综述]欢迎访问个人博客：https://johneyzheng.top/前言算法调研(相对完善)2D升3D问题表达形式(Representation transformation): BEV, Pseudo-Lidar关键点&&形状通过2.

Table of Contents目标跟踪问题定义传统目标跟踪算法生成式模型判别式模型深度学习方法目标跟踪问题定义目标跟踪分为密集跟踪(a series detections)和稀疏跟踪(estimation+common sense)。前者本质上对每一帧进行检测，需要更大的计算量，实时性差。所以，一般目标跟踪问题都是指的稀疏跟踪：对检测目标位置进行估计，处理估计位置附近的像素区域，得到待跟踪区域的精确位置，实时性较强。传统目标跟踪算法传统目标跟踪算法按照建模方式的区别分为生