You and Me

常见LLM推理框架近年来，随着LLM的持续发展，推理部署框架在模型落地中的作用日益重要。作为连接模型能力与实际应用场景的关键基础设施，其设计与性能直接影响部署效率与最终效果。目前，业界已涌现出多种具有代表性的推理框架，常见的包括以下几类：llama.cppllama.cpp是一个由开源社区维护的轻量级LLM推理框架，采用纯C/C++实现，并结合多种量化技术，具有很强的硬件兼容性和较低的资源占用。它支持CPU与GPU混合推理，尤其适合边缘设备、普通电脑，以及需要离线运行模型的个人开发者。Ollama。

多模态技术的发展经历了长期探索与积累。早期具有代表性的工作是2021年提出的CLIP（Contrastive Language–Image Pre-Training）。该模型通过大规模图文对比学习，实现视觉与语言表示空间的有效对齐，为跨模态特征对齐与联合表示学习提供了关键技术支撑，典型应用包括图文检索、零样本分类等。然而，这一阶段的模型仍以特定任务为导向，缺乏统一的推理能力和通用泛化能力。自2022年起，LLM的快速发展为多模态研究带来了新的技术范式。

在一文中，已简要介绍了模型量化与高效推理部署，二者是实现大语言模型（Large Language Model，LLM）低成本、高效落地的关键路径。本文将系统阐述模型量化的基本原理，并详细介绍LLM高效推理的核心技术与常用框架。

Unsloth是一款专为大语言模型微调与强化学习设计的开源框架，致力于以更高的效率和更低的资源成本推动人工智能技术的普及。用户可在本地环境、Google Colab、Kaggle等平台上，借助其运算加速与显存优化能力，轻松完成Qwen、DeepSeek等主流大模型的训练、评估、保存及推理优化。传统大语言模型微调往往面临硬件要求高、迭代速度慢和资源受限等挑战，而Unsloth通过高效的底层实现和友好的接口设计，显著降低了微调的技术门槛，使更多人能够高效、低成本地训练属于自己的定制模型。核心优势特点说明。

主要功能：通过Transformer及改进模型AttMoE预测电池的寿命衰减曲线。训练时，随机选取电池任意历史多个循环的寿命数据（如过去10个循环数据），学习规律以预测下一循环的寿命数据。验证时，输入电池初始若干次循环的实测数据（如10个循环数据），模型先预测第11次循环的寿命；随后将该预测结果纳入输入序列，以最新10个循环数据（即第2至第11次循环）为基础，通过滑动窗口递归迭代，预测第12次循环的寿命，依此类推，最终生成电池从启用至失效的完整寿命衰减曲线。

RAG系统工作流程概览RAG系统的核心在于检索与生成流程的深度融合，其核心逻辑是通过动态引入外部知识，大幅提升输出内容的准确性与相关性。具体工作流程以用户查询为起点：首先，检索模块借助向量检索等技术，将用户查询转化为向量形式，从文档库、知识图谱或搜索引擎等外部知识源中快速定位、筛选并提取高度相关的信息片段；随后，以LLM为基础的生成模块会整合查询内容与检索到的上下文信息，经推理、整合与重组，最终生成连贯且精准的答案。例如，当用户询问“2024年夏季奥运会的举办城市是哪里，有哪些特色比赛项目？

前面提到大语言模型发布时通常会推出基础版与对话版两个版本。其中，基础模型是经过大规模语料无监督预训练的模型，这类模型虽然学习了大量通用知识，但没有经过任何行为指导；而对话模型则是专门为用户交互构建的，通常采用提问与回答的格式，它是在基础模型的基础上，通过指令监督微调与基于人类反馈的强化学习进行优化得到的，能够与人进行对话，并且输出的结果更加符合预期、更易于控制，也更加安全。想让大语言模型理解并生成好的对话，需要给它一个清晰的“剧本”，这就是 Chat Template（聊天模板）。

在深度学习领域，模型是一个核心概念。它本质上是由大量数学公式构成的计算系统，虽然听起来复杂，但我们可以通过一个简化的比喻来理解它的基本原理。深入浅出地理解神经网络。线性模型假设你有一个魔法盒子，它能根据输入的数字生成新的数字。这个过程类似模型的推理阶段线性模型的局限性这种魔法盒子，也就是简单的线性模型只能做简单的运算，遇到复杂问题就会卡壳。例如提问"安徽的省会城市是哪里？输入单一：仅能处理数值计算，无法理解文本、图像等复杂信息；规则僵化：公式逻辑固定，无法学习非线性的复杂关系（如"城市-属性"的映射）

2020年，OpenAI推出的GPT-3以1750亿参数的庞大体量，成为当时全球规模最大的语言模型。它广泛应用于文本生成、问答系统等自然语言处理任务，展现出强大的语言处理能力。伴随应用场景的持续拓展，精心设计的提示词在引导模型产出高质量、契合预期的输出成果上，关键作用日益凸显，进而直接促使提示词工程蓬勃兴起。2022年，ChatGPT的发布为LLM的发展带来了新的突破。它凭借简洁友好的界面和卓越的对话能力，极大地提升了LLM的公众可及性，让普通用户也能轻松上手。

LLM发展历程2022年11月30日，OpenAI推出的ChatGPT在LLM技术领域取得了创新突破，迅速引起了全球业界的广泛关注，并在短短两个月内成功吸引了超过一亿用户。作为一款基于LLM的应用，ChatGPT以其强大的文本生成、对话交互和信息提取能力，成为人工智能领域的一个重要里程碑，推动了人机交互的边界。然而，由于OpenAI未公开其底层技术并封闭源代码，这引发了全球AI开发者对开源技术的强烈需求。

任务类型定义特点应用场景示例长时预测预测时间序列在未来较长时间段内的变化趋势需要考虑长期趋势和季节性因素，使用复杂的模型来捕捉长期依赖性股票价格预测、长期能源需求预测等短时预测预测时间序列在近期的未来值通常关注短期波动，模型需要快速响应新数据短期销售预测、交通流量预测等缺失值填补填补时间序列中缺失的数据点需要保持时间序列的连续性和一致性时间序列预处理、历史数据补全等异常检测识别时间序列中的异常或离群点需要区分正常波动和异常事件网络安全监控、设备故障检测等分类。

Supervision库是一款出色的Python计算机视觉低代码工具，其设计初衷在于为用户提供一个便捷且高效的接口，用以处理数据集以及直观地展示检测结果。。Supervision库需要在Python3.8及以上版本的环境下运行。

自然语言处理（Natural Language Processing，简称NLP）是一门研究人类语言与计算机之间交互的领域，旨在使计算机能够理解、解析、生成和处理人类语言。NLP结合了计算机科学、人工智能和语言学的知识，通过各种算法和技术来处理和分析文本数据。近年来，随着深度学习技术的发展，神经网络模型在自然语言处理（NLP）领域取得了重大的突破。其中，循环神经网络（RNN）、长短时记忆网络（LSTM）和Transformer等模型都发挥了关键作用。

AutoDetectionModel类SAHI基于AutoDetectionModel类的from_pretrained函数加载深度学习模型。目前支持YOLOv5 models, MMDetection models, Detectron2 models和HuggingFace object detection models等深度学习模型库，如果想支持新的模型库,可以参考目录下的模型文件，新建模型检测类。模型预测。

普通的行人reid，分为特征提取和向量检索两大部分。其他一些商用技术是普通项目接触不到，大概用这两部分，再搜集数据，换换检测模型，提高reid模型就可以了。

基于Gradio可视化部署机器学习应用。

Faiss是一个由facebook开发以用于高效相似性搜索和密集向量聚类的库。它能够在任意大小的向量集中进行搜索。它还包含用于评估和参数调整的支持代码。Faiss是用C++编写的，带有Python的完整接口。一些最有用的算法是在GPU上实现的。。所谓相似性搜索是指通过比较多维空间中数据之间的相似性来搜索与输入数据最相似的目标数据。例如人脸识别中，通过比较人脸向量之前的距离来识别当前人脸与哪张人脸相似。因此，该技术被广泛应用于信息检索、计算机视觉、数据分析等领域。。...

deepface是一个Python轻量级人脸识别和人脸属性分析（年龄、性别、情感和种族）框架，提供非常简单的接口就可以实现各种人脸识别算法的应用。deepface官方仓库为deepface。deepface提供了多种模型，模型下载地址为deepface_models。安装方式： pip install deepface -i https://pypi.tuna.tsinghua.edu.cn/simpledeepface主要提供以下人脸识别算法，具体对应接口为：总体而言，这个项目的人脸识别模型识别效果还行，

Python人脸识别库face_recognition使用教程face_recognition号称是世界上最简单的开源人脸识别库，可以通过Python或命令行识别和操作人脸。face_recognition提供了十分完整的技术文档和应用实例，人脸识别初学者建议研究该库上手。face_recognition的官方代码仓库为：face_recognition。face_recognition也有自己的官方中文文档，该文档详情见：face_recognition中文使用说明。本文所有的代码和大部分测试图像来自

fast-reid入门教程ReID，全拼为Re-identification，目的是利用各种智能算法在图像数据库中找到与要搜索的目标相似的对象。ReID是图像检索的一个子任务，本质上是图像检索而不是图像分类。fast-reid是一个强悍的目标重识别Reid开源库，由京东开源管理。本文主要是介绍fast-reid的使用，随着技术的发展，对于cv从业人员有必要了解不同智能算法技术的应用。而且ReID是相对下游的任务，了解ReID的相关技术应用能学到很多东西。文章目录fast-reid入门教程1 fast-r

CCPD是一个大型的、多样化的、经过仔细标注的中国城市车牌开源数据集。CCPD数据集主要分为CCPD2019数据集和CCPD2020(CCPD-Green)数据集。CCPD2019数据集车牌类型仅有普通车牌(蓝色车牌)，CCPD2020数据集车牌类型仅有新能源车牌(绿色车牌)。在CCPD数据集中，每张图片仅包含一张车牌，车牌的车牌省份主要为皖。CCPD中的每幅图像都包含大量的标注信息，但是CCPD数据集没有专门的标注文件，每张图像的文件名就是该图像对应的数据标注。标注最困难的部分是注释四个顶点的位置。为了

cvat是一个非常好用的标注工具，但是也是非常难以安装的标注工具，所以本文简单讲一讲如何安装与使用cvat。cvat最好在ubuntu18.04安装，windows平台安装难度很大，然后在其他平台使用。文章目录1 安装2 使用2.1 其他机器访问cvat服务器2.2 共享目录配置2.3 标注替换2.4 其他使用3 参考1 安装安装其实一步一步按照官方教程执行就好了，官方地址文档为cvat安装文档。安装最大的问题就是网速不好。具体步骤如下。step1 安装dockercvat在docker下运行，所

imgaug边界框增强笔记主要是讲述基于imgaug库对目标检测图像的边界框进行图像增强。本文需要掌握imgaug库的基本使用，imgaug库的基本使用见[深度学习] imgaug库使用笔记。文章目录0 示例图像和标注文件1 imgaug加载图像和标注数据2 边界框增强2.1 整张图像增强2.2 图像部分区域增强2.3 边界框超出图像范围解决办法3 保存增强图像和标注文件4 参考0 示例图像和标注文件示例图像如图所示# 对应的标注文件!cat demo.xml<?xml version

文章目录1 nvidia驱动安装2 CUDA10.2安装3 cudnn安装4 参考最近装过很多ubuntu18.04系统的nvidia驱动，cuda10.2，cudnn7.6.5，发现每次都会出现一些小问题。总结了具体步骤，做个记录。主要分为三个步骤：驱动安装，cuda安装，cudnn安装。本文主要参考了博客Ubuntu18.04安装CUDA10、CUDNN和Ubuntu18.04+CUDA10.2 深度学习开发环境配置指南。本文也适用于其他linux系统安装不同版本cuda,cudnn。1 nvidi

本文主要介绍将pytorch模型准确导出为可用的onnx模型。以方便OpenCV Dnn,NCNN,MNN,TensorRT等框架调用。所有代码见：Python-Study-Notes文章目录1 使用说明1.1 读取模型1.2 检测图像1.3 导出为onnx模型1.4 模型测试1.5 模型简化1.6 全部代码2 参考1 使用说明本文示例为调用pytorch预训练的mobilenetv2模型，将其导出为onnx模型。主要步骤如下：读取模型检测图像导出为onnx模型模型测试模型简化# 需要

本文主要展示各类深度学习优化器Optimizer的效果。所有结果基于pytorch实现，参考github项目pytorch-optimizer(仓库地址)的结果。pytorch-optimizer基于pytorch实现了常用的optimizer，非常推荐使用并加星该仓库。文章目录1 简介2 结果A2GradExp(2018)A2GradInc(2018)A2GradUni(2018)AccSGD(2019)AdaBelief(2020)AdaBound(2019)AdaMod(2019)Adafactor

imgaug是一款非常有用的python图像增强库，非常值得推荐应用于深度学习图像增强。其包含许多增强技术，支持图像分类，目标检测，语义分割，热图、关键点检测等一系列任务的图像增强。本文主要介绍imgaug基本使用，以及应用关键点和边界框增强。官方代码仓库：imgaug官方入门文档：imgaug doc增强效果预览：overview of augmentersApi：imgaug dpi# 安装imgaug模块# pip install imgaug1 加载和增强图片1.1 读图i

ImageAI是一个Python库，旨在使开发人员，研究人员和学生能够使用简单的几行代码来构建具有独立的深度学习和计算机视觉功能的应用程序和系统。ImageAI的官方GitHub存储库为https://github.com/OlafenwaMoses/ImageAI文章目录0 安装1 图像预测1.1 参数说明1.2 样例代码2 目标检测2.1 参数说明2.2 样例代码3 视频实时检测与分析3.1 参数说明3.2 样例代码4 其他功能介绍5 参考# 去掉警告import warningswarni

ncnn工程编译使用在linux下建立如CMakeLists文件即可编译生成ncnn工程# 最低cmake版本cmake_minimum_required(VERSION 3.2)# 工程名project(ncnnTest)# 添加OpenCV支持find_package(OpenCV REQUIRED)# 添加OpenMP支持FIND_PACKAGE(OpenMP...

目录1 背景2 实现3. 结果和代码4 参考手部关键点检测是在手指上找到关节以及在给定图像中找到指尖的过程。它类似于在脸部（面部关键点检测）或身体（人体姿势估计）上找到关键点。但是手部检测不同的地方在于，我们将整个手部视为一个对象。美国卡耐基梅隆大学智能感知实验室(CMU Perceptual Computing Lab)发布了手的关键点检测模型。详情见：https:/...

1. 概述     卷积神经网络是一种特殊的深层的神经网络模型，它的特殊性体现在两个方面，一方面它的神经元间的连接是非全连接的， 另一方面同一层中某些神经元之间的连接的权重是共享的（即相同的）。它的非全连接和权值共享的网络结构使之更类似于生物 神经网络，降低了网络模型的复杂度（对于很难学习的深层结构来说，这是非常重要的），减少了权值的数量。     回想一下BP神经网络。B

mxnet60分钟入门Gluon教程，适合做过深度学习的人使用。入门教程地址：https://beta.mxnet.io/guide/getting-started/crash-course/index.htmlmxnet安装方法：pip install mxnet1 在mxnet中使用ndarray处理数据ndarray类似numpy,在mxnet下通过ndarray处理数据，ndarr...

本文主为caffe训练、结果可视化、部署及量化具体过程笔记。caffe目前官方已经停止支持了，但是caffe是目前工业落地最常用的深度学习框架。其实主要怕自己忘了，弄个备份，弄caffe很久了，很多东西都忘了。1 训练1.1 数据准备首先在caffe/data路径建立example_data文件夹，在example_data里建立三个文件夹。train文件为训练文件数据，val为验证文件...

目录波士顿房价数据集数据集数据归一化模型训练和预测模型建立和训练模型预测总结回归主要基于波士顿房价数据库进行建模，官方文档地址为：https://tensorflow.google.cn/tutorials/keras/basic_regression波士顿房价数据集数据集波士顿数据集是一个回归问题。每个类的观察值数量是均等的，共有 506 个观察，13...

目录Fashion MNIST数据库分类模型的建立模型预测总体代码主要介绍基于tf.keras的Fashion MNIST数据库分类，官方文档地址为：https://tensorflow.google.cn/tutorials/keras/basic_classification文本分类类似，官网文档地址为https://tensorflow.google.cn/tut...

目录构建一个简单的模型序贯（Sequential）模型网络层的构造模型训练和参数评价模型训练模型的训练tf.data的数据集模型评估和预测基本模型的建立网络层模型模型子类函数构建回调函数Callbacks模型保存和载入网络参数保存Weights only配置参数保存Configuration only完整模型保存目前keras A...

在深度学习（机器学习）中，卷积卷积实际上是信号处理中的自相关操作（cross-correlation），而不是数学上的卷积操作（Convonlution）。 对于自相关函数，具体定义如下： 设 x(t)、 y(t) 为连续信号，则 x(t)、 y(t) 的互相关函数为 Rxy(τ)=∫∞−∞x(t)y(t−τ)dtRyx(τ)=∫∞−∞y(t)x(t−τ)dt\begin{array}{l}

转载于：http://blog.csdn.net/app_12062011/article/details/54313082我们目前的讨论的神经网络，虽然学习算法不同，但基本上架构还是相同的，就是都是分层网络，即神经元按层进行组织，层内神经元无连接，层间神经元间有连接。我们在这篇博文中，将讨论一种非常不同的神经网络，这类神经网络是由没层次关系的神经元全连接网络进化而来，采用有别于梯度下降算法进

转载于博客http://blog.csdn.net/zouxy09一、概述       Artificial Intelligence，也就是人工智能，就像长生不老和星际漫游一样，是人类最美好的梦想之中的一个。尽管计算机技术已经取得了长足的进步。可是到眼下为止。还没有一台电脑能产生“自我”的意识。是的，在人类和大量现成数据的帮助下，电脑能够表现的十分强大。可是离开了这两者，它甚至都不能分辨

转载于 http://lanbing510.info/2014/11/07/Neural-Network.html开篇语文章整理自向世明老师的PPT，围绕神经网络发展历史，前馈网络（单层感知器，多层感知器，径向基函数网络RBF），反馈网络（Hopfield网络，联想存储网络，SOM，Boltzman及受限的玻尔兹曼机RBM，DBN，CNN）三部分进行讲述，给人一