![](https://img-blog.csdnimg.cn/direct/ec83530b888644eb9017ff374e2efbc8.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
AI
文章平均质量分 85
AI开发技术
酌沧
资深软件工程师 致力于信息技术研究
展开
-
Rag评估框架Ragas
代码地址: https://github.com/rexrex9/basic_neural_networks_pytorch/tree/main/chapter_llm/rag。原创 2024-06-30 14:58:43 · 152 阅读 · 0 评论 -
如何评估预测值与真实值之间的匹配质量
来自opencompass/opencompass/datasets/teval/evaluators/planning_evaluator.py这段代码是一个比较复杂的过程,用于评估预测计划与真实计划之间的匹配质量。它包括多个关键步骤:计算相似度分数、创建匹配图、执行匹配算法、生成匹配映射,以及使用最长递增子序列(LIS)算法来计算正确匹配的节点数。预测值如下。原创 2024-06-26 11:06:10 · 1033 阅读 · 0 评论 -
深度学习windows环境配置
详见文章我电脑的CUDA下载链接如下安装成功nvcc -V命令显示如下内容我电脑的cudnn下载链接如下将cudnn-windows-x86_64-9.2.0.82_cuda12-archive里的对应bin、lib、include三个文件内容合并到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1即可。原创 2024-06-23 08:39:57 · 346 阅读 · 0 评论 -
AI大模型的TTS评测
L-MTL(Large Multi-Task Learning)Models 是一种大规模多任务学习模型,通过结合 Mixture of Experts(MMoE)框架与 Transformer 模型,实现对 TTS(Text-to-Speech)系统中多个评估指标的全面平衡评价。原创 2024-06-19 16:40:48 · 977 阅读 · 0 评论 -
文本相似度的三种算法
为了实现基于嵌入向量相似度来查找输入文本与给定列表中最相似的元素,你可以使用预训练的文本嵌入模型(例如,sentence-transforers),并计算输入文本与列表元素之间的余弦相似度。如果想避免依赖外部库或模型,也可以使用传统的文本相似度方法(如 TF-IDF、词袋模型)配合 scikit-learn 来实现相似度计算,但这些方法通常无法捕捉到语义层次的相似度。原创 2024-06-13 20:56:20 · 1094 阅读 · 0 评论 -
Qwen等大模型使用 vLLM部署详解
vLLM 预分配并管理推理过程中使用的缓存空间,如 past_key_values。通过预分配缓存,可以减少推理过程中因动态内存分配带来的开销。原创 2024-06-11 19:47:30 · 2954 阅读 · 0 评论 -
AI大模型的推理显存占用分析
了解Transformer架构的AI大模型显存占用是非常重要的,特别是在训练和推理过程中。原创 2024-05-28 20:21:59 · 1659 阅读 · 0 评论 -
AI大模型如何测评代码生成能力 human-eval详解
此内部函数用于计算单个问题的pass@k概率。如果尝试的次数 (n) 减去错误的次数 (c) 小于k,说明不可能有k次正确的结果,因此概率是 1(即100%失败)。否则,计算公式表示至少有k次正确的概率。这个计算使用了组合数公式,其中comb(n, k)是从n次尝试中选取k次的所有可能组合方式,是在所有尝试中去除所有正确答案后,剩余尝试中选取k次的组合方式。通过这种方法,函数能够有效地为每个问题计算至少达到k次正确答案的概率。原创 2024-05-22 10:19:01 · 1705 阅读 · 0 评论 -
AI大模型测评系统opencompass源码解析
MMEngine 实现的注册器可以看作一个映射表和模块构建方法(build function)的组合。映射表:维护了一个字符串到类或者函数的映射,使得用户可以借助字符串查找到相应的类或函数,例如维护字符串 “ResNet” 到 ResNet 类或函数的映射,使得用户可以通过 “ResNet” 找到 ResNet 类;模块构建方法:定义了如何根据字符串查找到对应的类或函数以及如何实例化这个类或者调用这个函数。原创 2024-05-13 18:43:32 · 818 阅读 · 1 评论 -
三星S24手机AI功能亲测
今天拿到了三星Galaxy S24手机,对AI功能体验总结如下。该手机不是单独准备一个App而是将AI功能融入到日常使用中,变成手机原有功能的一部分。无需联网的AI功能可以在手机本身上运行,这应该是端侧大模型来实现的,而需要联网的AI功能需要连接云端大模型进行处理。智能功能总览对上面截图的AI功能依次测评如下。原创 2024-04-24 12:22:54 · 1435 阅读 · 3 评论 -
AI大模型精调数据的质量要求和数据格式
预训练主要是用来控制模型输出的内容,精调主要是用来控制模型输出的形式。原创 2024-04-18 06:59:07 · 394 阅读 · 0 评论 -
AI大模型推理过程和优化技术
主流的大模型都是基于Transformer架构,其核心是注意力(Attention)机制,简单说就是计算softmax(qk^T)*v推理会分成 prefill 和 decoding 两个阶段。原创 2024-04-18 06:50:58 · 1574 阅读 · 0 评论 -
LangChain Model I/O解读
模型IO的目标是使开发者无须深入理解各个模型平台的API调用协议就可以方便的与各个大模型进行交互。概念指南对消息、提示、LLM与聊天模型以及输出解析器的概念性解释。在开始之前,你应该阅读这部分内容。快速开始介绍了开始使用不同类型模型的基础知识。如果你想了解功能概览,应该浏览这个部分。提示这一部分深入探讨了不同类型的提示模板以及如何使用它们。LLM这一部分涵盖了与LLM类相关的功能。这是一种接收文本字符串作为输入并返回文本字符串的模型。原创 2024-04-18 06:37:32 · 1048 阅读 · 0 评论 -
深入理解深度学习各种模型格式转换
ONNX是一种开放的生态系统,为深度学习模型提供了一个标准化的表示格式。它允许开发者在不同的深度学习框架之间轻松地转换模型,促进了工具和库之间的互操作性。ONNX作为一种中间表示(IR)格式,能够捕获模型的架构及其参数。支持的模型格式Checkpoint:TensorFlow的模型保存格式,包含模型的权重和训练状态。H5:HDF5格式,常用于Keras,包含模型的结构和权重。:TensorFlow特有的格式,用于将模型的定义和权重固化。原创 2024-04-18 06:24:05 · 910 阅读 · 0 评论 -
实战AI大模型通用能力评测
将自定义的API大模型集成到 OpenCompass 框架中。编写一个模型适配器使得模型能够接收 OpenCompass 的输入格式并返回兼容的输出。对于每个模型需要定义预处理和后处理步骤,确保数据正确地流入模型并且模型输出被正确解析。opencompass/opencompass/models/mymodel_api.py 文件是用于添加一个新的基于API的模型到一个名为 opencompass 的项目中。创建了一个名为 MyModelAPI 的类,它继承自 BaseAPIModel。类的继承。原创 2024-04-17 09:02:12 · 987 阅读 · 0 评论 -
AI图像处理的语义分割
关注如何将图像分割成属于不同语义类别的区域。这些语义区域的标注和预测都是像素级的。语义分割中图像有关 狗、猫和背景的标签。可以看到,与目标检测相比,语义分割标注的像素级的边框显然更加精细。每个像素都被区分成了三个类别中的一个类别深度卷积网络在语义分割任务中的应用,通常采用的是全卷积网络(Fully Convolutional Networks, FCNs)及其衍生模型结构。原创 2024-04-17 08:31:22 · 559 阅读 · 0 评论 -
AI图像处理的仿生学原理和机器实现
卷积神经网络(CNN)是为处理图像数据而设计的神经网络,在很大程度上受到生物视觉系统结构和功能的启发,尤其是哺乳动物大脑中初级视觉皮层的组织方式。原创 2024-04-17 08:27:46 · 977 阅读 · 0 评论 -
让AI触手可及的繁荣社区Hugging Face
HuggingFace提出了一套可以依照的标准研发流程,按照该框架实施工程,能够在一定程度上规避开发混乱、开发人员水平不一致的问题,降低了项目实施的风险及项目和研发人员的耦合度,让后续的研发人员能够更容易地介入,即把HuggingFace的标准研发流程变成所有研发人员的公共知识,不需要额外地学习。可以看出,HuggingFace提供的工具集基本囊括了标准流程中的各个步骤,使用HuggingFace工具集能够极大地简化代码复杂度,让研发人员能把更多的精力集中在具体的业务问题上,而不是陷入琐碎的细节中。原创 2024-04-17 08:25:43 · 793 阅读 · 0 评论 -
AI文本处理的仿生学原理和机器实现
即非自主性提示和自主性提示,揭示了人类的注意力方式。- 对于每个位置i,计算其与所有其他位置j的注意力得分,通常采用点积的方式:`Score(i,j) = Q_i * K_j^T / sqrt(d_k)`,其中d_k是键向量的维度,sqrt(d_k)是一个缩放因子以稳定训练。- 使用上一步得到的注意力权重,对值矩阵V进行加权求和,从而获得每个位置的新表示:`Context Vector_i = ∑(Attention_i * V_j)`,这里的Attention_i是位置i对应的注意力权重向量。原创 2024-04-16 20:17:40 · 422 阅读 · 0 评论