- 博客(148)
- 资源 (2)
- 收藏
- 关注
原创 【LLM Transparency Tool】用于深入分析和理解大型语言模型(LLM)工作原理的工具
LLM Transparency Tool 是一个用于深入分析和理解大型语言模型(LLM)工作原理的工具,旨在增加这些复杂系统的透明度。它提供了一个交互式界面,用户可以通过它观察、分析模型对特定输入(prompts)的反应,以及模型内部的决策过程。
2024-06-26 18:13:34 970
原创 【LM-Debugger】让研究人员与开发者能够深入洞察并干预模型的预测过程,开启了模型透明度和可解释性的一扇新门
通过LM-Debugger,用户可以细粒度地解释Transformer模型内部的预测构建过程,并通过识别和调整特定的FFN子更新来干预和控制模型的预测结果。工具提供了直观的可视化界面,使用户能够理解模型内部的参数和数据流向,并根据需要进行有效的干预。这种方法大大增强了模型的透明度和可控性。
2024-06-26 09:45:22 1054
原创 【Transformer Debugger】OpenAI开源大模型调测工具--可以在训练大模型之前理解模型的运行情况并干预
TDB允许在编码之前快速地探索模型的工作原理,它能够介入模型的前向传播过程,让我们可以直观地看到某个特定操作如何影响模型的行为。例如,我们可以利用它来探讨“为什么面对同一个输入提示,模型会选择输出Token A而不是Token B?”或是“为什么在某个特定的输入下,某个注意力机制(Attention Head)会偏好于Token T?
2024-06-25 16:26:22 374
原创 【vLLM】核心技术PagedAttention,调度原理
vLLM通过借鉴虚拟(Virtual)内存的原理,采用固定大小的块和动态映射的方式,有效地管理了内存,减少了内存浪费vLLM通过PagedAttention技术和“先来先服务(FCFS),后来先抢占,gpu不够就先swap到cpu上”的调度策略(Scheduler),在1个推理阶段处理尽可能多的请求,解决高并发场景下的推理吞吐问题。这就是整个vLLM运作的核心思想当一堆请求来到vLLM服务器上时,按照First-Come-First-Serve(FCFS)原则,优先处理那些最早到来的请求。
2024-06-21 15:49:10 1392 1
原创 宇宙中可能存在的另外一种生命体-硅基生命
百科中定义了生命具有能量代谢功能,能进行能量转换能够产生应激反应能够自我繁衍生成发育,必须是在变化的探寻生命的2大准则有生命有生存条件有氧,水,碳,适宜的生存条件(前3个比较容易满足)
2023-11-29 14:29:43 1135
原创 【CUDA编程--编程模型简介&算子开发流程】
CUDA全称(Compute Unified Device Architecture)统一计算架构,是NVIDIA推出的并行计算平台深度学习加速:对于神经网络,无论是离线训练还是在线推理,都有巨量的矩阵、归一化、softmax等运算,且其中有非常多的并行计算,非常适合用GPU来进行运算加速一般来说,应用程序混合有并行部分和顺序部分,因此系统设计时混合使用 GPU 和 CPU,以最大限度地提高整体性能。具有高度并行性的应用程序可以利用 GPU 的大规模并行特性来实现比 CPU 更高的性能。
2023-11-13 20:23:54 2942 1
原创 【pytorch源码分析--torch执行流程与编译原理】
aten: A Tensor Library的缩写。与Tensor相关的内容都放在这个目录下。如Tensor的定义、存储、Tensor间的操作(即算子/OP)等可以看到在aten/src/Aten目录下,算子实现都在native/目录中。其中有CPU的算子实现,以及CUDA的算子实现(cuda/)等torch: 即PyTorch的前端代码。我们用户在import torch时实际引入的是这个目录。其中包括前端的Python文件,也包括高性能的c++底层实现(csrc/)。
2023-11-06 20:35:20 2268
原创 西部AI小镇-构建自主虚拟世界
生成代理起床,做早餐,然后去上班;艺术家作画,作家写作;他们形成意见、互相关注并发起对话;他们在计划第二天时会记住并反思过去的日子。为了实现生成代理,描述了一种架构,该架构扩展了大型语言模型,以使用自然语言存储代理经验的完整记录,随着时间的推移将这些记忆合成为更高级别的反射,并动态检索它们以规划行为。实例化生成代理来填充受《模拟人生》启发的交互式沙箱环境,最终用户可以使用自然语言与一个由 25 个代理组成的小镇进行交互。
2023-08-25 17:19:33 526
原创 Triton Server 快速入门
Triton提供了一个叫做instance-group的模型配置项,允许指定每一个模型允许的并发实例的数量,这些并发的模型数量称之为一个instance。默认情况下,Triton是一个GPU上放一个模型,一次只推理一份数据。但通过设置模型的instance_group参数,可以对模型的并发实例数据量进行扩充。2.–model-control-mode=poll该参数用于启动模型热更新,当模型文件发生变化,或者新增版本时,程序先启动新的实例版本出来,在将旧版本或者实例卸载掉。
2023-04-04 11:53:13 2800
原创 (隐私计算)联邦学习概述
联邦学习兼顾 AI 应用与隐私保护,开放合作,协同性高,充分释放大数据生产力,广泛适用于金融、消费互联网等行业的业务创新场景
2023-02-01 17:02:10 1477
原创 使用tensorrt为模型推理加速
文档详情安装依赖pip install nvidia-pyindexpip install nvidia-tensorrt封装过程构建阶段import tensorrt as trtlogger = trt.Logger(trt.Logger.WARNING)builder = trt.Builder(logger)创建网络network = builder.create_network(1 << int(trt.NetworkDefinitionCreation
2022-05-12 11:08:05 1087 1
原创 使用cmake编译c项目并给其他语言调用过程
目的熟悉使用cmakelists编译c++代码过程编译动态库so给其他语言调用操练准备环境:mac环境上测试安装cmake安装vscode配置includePath:首选项->settings->搜索includePath第三方库安装$ brew install opencv # apt install opencv # ubuntu$ brew install curl # apt install curl # ubuntu构建项目src/addsum
2022-05-10 15:52:10 713
原创 【Java快速入门】-- 基于SpringBoot的redis数据库
依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-redis</artifactId> <version>1.4.1.RELEASE</version> </dependency>配置redispackage com.xxxx.config;
2022-03-17 14:53:10 98
原创 【Java快速入门】--基于SpringBoot的JPA数据库ORM操作
依赖<!-- jpa数据库操作 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-jpa</artifactId> </dependency> <dependency> <groupId&
2022-03-16 17:31:24 1617
原创 【Java快速入门】-- SpringBoot集成swagger接口文档
依赖<!-- swagger接口文档 --> <dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger2</artifactId> <version>3.0.0</version> </dependency> <dependency
2022-03-16 17:26:14 650
原创 【Java快速入门】-- 基于SpringBoot的web开发框架
快速使用spring-boot来构建web应用java基础及mvn创建应用重要概念什么是注解:带有@符号的就是注解,注解起一个解释标识作用,程序会根据反射来找对应的函数什么是javaBean对象:在spring框架中,带有javaBean注解的类将被自动实例化,无序用户在new操作,对于单例模式时非常友好的程序如何执行的:在spring中,程序的执行会根据注解反射对象进行实例化,也就是程序会不断根据注解来自动化实例对象第一步:创建项目$ mvn archetype:generate...
2022-03-15 18:46:32 1020
原创 【Java快速入门】--时间操作库
java时间操作库package ljc.utils;import java.text.SimpleDateFormat;import java.util.Date;public class Time1 { public static void test() throws Exception { Date td = null; // time date 类型 String ts; // 时间字符串类型 SimpleDateFormat ft
2022-02-17 11:37:04 184
原创 【Java快速入门】-- json转换库
java中的json转换依赖<dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.47</version></dependency>示例package ljc.utils;import java.util.Arrays;import ja
2022-02-17 11:35:46 123
原创 【Java快速入门】--网络请求库
java网络请求库依赖<dependency> <groupId>com.github.kevinsawicki</groupId> <artifactId>http-request</artifactId> <version>6.0</version></dependency>http-request文档实例package ljc.utils;import java.uti
2022-02-17 11:35:06 639
原创 【Java快速入门】-- IO/文件等操作
java文件/io等操作package ljc.utils;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.InputStreamReader;import java.io.OutputStreamWriter;public class Io { public static void cmd() throws Ex
2022-02-16 15:36:56 184
原创 【Java快速入门】-- 基础
java入门基础概述强类型静态语言编译型语言,运行性能比较高运行时内存安全,拥有一套GC机制后端语言主要web,爬虫等场景环境安装前往官网下载jdk并安装$ java -versionopenjdk version "17.0.2" 2022-01-18OpenJDK Runtime Environment Temurin-17.0.2+8 (build 17.0.2+8)OpenJDK 64-Bit Server VM Temurin-17.0.2+8 (build 17.
2022-02-16 13:50:58 345
redis思维导图.docx
2020-09-03
HADOOP生态系统.docx
2020-09-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人