- 博客(148)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 【LLM Transparency Tool】用于深入分析和理解大型语言模型（LLM）工作原理的工具
LLM Transparency Tool 是一个用于深入分析和理解大型语言模型（LLM）工作原理的工具，旨在增加这些复杂系统的透明度。它提供了一个交互式界面，用户可以通过它观察、分析模型对特定输入（prompts）的反应，以及模型内部的决策过程。
2024-06-26 18:13:34
970
原创 【LM-Debugger】让研究人员与开发者能够深入洞察并干预模型的预测过程，开启了模型透明度和可解释性的一扇新门
通过LM-Debugger，用户可以细粒度地解释Transformer模型内部的预测构建过程，并通过识别和调整特定的FFN子更新来干预和控制模型的预测结果。工具提供了直观的可视化界面，使用户能够理解模型内部的参数和数据流向，并根据需要进行有效的干预。这种方法大大增强了模型的透明度和可控性。
2024-06-26 09:45:22
1054
原创 【Transformer Debugger】OpenAI开源大模型调测工具--可以在训练大模型之前理解模型的运行情况并干预
TDB允许在编码之前快速地探索模型的工作原理，它能够介入模型的前向传播过程，让我们可以直观地看到某个特定操作如何影响模型的行为。例如，我们可以利用它来探讨“为什么面对同一个输入提示，模型会选择输出Token A而不是Token B？”或是“为什么在某个特定的输入下，某个注意力机制（Attention Head）会偏好于Token T？
2024-06-25 16:26:22
374
原创 【vLLM】核心技术PagedAttention，调度原理
vLLM通过借鉴虚拟(Virtual)内存的原理，采用固定大小的块和动态映射的方式，有效地管理了内存，减少了内存浪费vLLM通过PagedAttention技术和“先来先服务（FCFS），后来先抢占，gpu不够就先swap到cpu上”的调度策略(Scheduler)，在1个推理阶段处理尽可能多的请求，解决高并发场景下的推理吞吐问题。这就是整个vLLM运作的核心思想当一堆请求来到vLLM服务器上时，按照First-Come-First-Serve（FCFS）原则，优先处理那些最早到来的请求。
2024-06-21 15:49:10
1392
1
原创 宇宙中可能存在的另外一种生命体-硅基生命
百科中定义了生命具有能量代谢功能，能进行能量转换能够产生应激反应能够自我繁衍生成发育，必须是在变化的探寻生命的2大准则有生命有生存条件有氧，水，碳，适宜的生存条件（前3个比较容易满足）
2023-11-29 14:29:43
1135
原创 【CUDA编程--编程模型简介&算子开发流程】
CUDA全称（Compute Unified Device Architecture）统一计算架构，是NVIDIA推出的并行计算平台深度学习加速：对于神经网络，无论是离线训练还是在线推理，都有巨量的矩阵、归一化、softmax等运算，且其中有非常多的并行计算，非常适合用GPU来进行运算加速一般来说，应用程序混合有并行部分和顺序部分，因此系统设计时混合使用 GPU 和 CPU，以最大限度地提高整体性能。具有高度并行性的应用程序可以利用 GPU 的大规模并行特性来实现比 CPU 更高的性能。
2023-11-13 20:23:54
2942
1
原创 【pytorch源码分析--torch执行流程与编译原理】
aten: A Tensor Library的缩写。与Tensor相关的内容都放在这个目录下。如Tensor的定义、存储、Tensor间的操作（即算子/OP）等可以看到在aten/src/Aten目录下，算子实现都在native/目录中。其中有CPU的算子实现，以及CUDA的算子实现（cuda/）等torch: 即PyTorch的前端代码。我们用户在import torch时实际引入的是这个目录。其中包括前端的Python文件，也包括高性能的c++底层实现（csrc/）。
2023-11-06 20:35:20
2268
原创 西部AI小镇-构建自主虚拟世界
生成代理起床，做早餐，然后去上班；艺术家作画，作家写作；他们形成意见、互相关注并发起对话；他们在计划第二天时会记住并反思过去的日子。为了实现生成代理，描述了一种架构，该架构扩展了大型语言模型，以使用自然语言存储代理经验的完整记录，随着时间的推移将这些记忆合成为更高级别的反射，并动态检索它们以规划行为。实例化生成代理来填充受《模拟人生》启发的交互式沙箱环境，最终用户可以使用自然语言与一个由 25 个代理组成的小镇进行交互。
2023-08-25 17:19:33
526
原创 Triton Server 快速入门
Triton提供了一个叫做instance-group的模型配置项，允许指定每一个模型允许的并发实例的数量,这些并发的模型数量称之为一个instance。默认情况下，Triton是一个GPU上放一个模型，一次只推理一份数据。但通过设置模型的instance_group参数，可以对模型的并发实例数据量进行扩充。2.–model-control-mode=poll该参数用于启动模型热更新，当模型文件发生变化，或者新增版本时，程序先启动新的实例版本出来，在将旧版本或者实例卸载掉。
2023-04-04 11:53:13
2800
原创 (隐私计算)联邦学习概述
联邦学习兼顾 AI 应用与隐私保护，开放合作，协同性高，充分释放大数据生产力，广泛适用于金融、消费互联网等行业的业务创新场景
2023-02-01 17:02:10
1477
原创 使用tensorrt为模型推理加速
文档详情安装依赖pip install nvidia-pyindexpip install nvidia-tensorrt封装过程构建阶段import tensorrt as trtlogger = trt.Logger(trt.Logger.WARNING)builder = trt.Builder(logger)创建网络network = builder.create_network(1 << int(trt.NetworkDefinitionCreation
2022-05-12 11:08:05
1087
1
原创 使用cmake编译c项目并给其他语言调用过程
目的熟悉使用cmakelists编译c++代码过程编译动态库so给其他语言调用操练准备环境：mac环境上测试安装cmake安装vscode配置includePath：首选项->settings->搜索includePath第三方库安装$ brew install opencv # apt install opencv # ubuntu$ brew install curl # apt install curl # ubuntu构建项目src/addsum
2022-05-10 15:52:10
713
原创 【Java快速入门】-- 基于SpringBoot的redis数据库
依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-redis</artifactId> <version>1.4.1.RELEASE</version> </dependency>配置redispackage com.xxxx.config;
2022-03-17 14:53:10
98
原创 【Java快速入门】--基于SpringBoot的JPA数据库ORM操作
依赖<!-- jpa数据库操作 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-jpa</artifactId> </dependency> <dependency> <groupId&
2022-03-16 17:31:24
1617
原创 【Java快速入门】-- SpringBoot集成swagger接口文档
依赖<!-- swagger接口文档 --> <dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger2</artifactId> <version>3.0.0</version> </dependency> <dependency
2022-03-16 17:26:14
650
原创 【Java快速入门】-- 基于SpringBoot的web开发框架
快速使用spring-boot来构建web应用java基础及mvn创建应用重要概念什么是注解：带有@符号的就是注解，注解起一个解释标识作用，程序会根据反射来找对应的函数什么是javaBean对象：在spring框架中，带有javaBean注解的类将被自动实例化，无序用户在new操作，对于单例模式时非常友好的程序如何执行的：在spring中，程序的执行会根据注解反射对象进行实例化，也就是程序会不断根据注解来自动化实例对象第一步：创建项目$ mvn archetype:generate...
2022-03-15 18:46:32
1020
原创 【Java快速入门】--时间操作库
java时间操作库package ljc.utils;import java.text.SimpleDateFormat;import java.util.Date;public class Time1 { public static void test() throws Exception { Date td = null; // time date 类型 String ts; // 时间字符串类型 SimpleDateFormat ft
2022-02-17 11:37:04
184
原创 【Java快速入门】-- json转换库
java中的json转换依赖<dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.47</version></dependency>示例package ljc.utils;import java.util.Arrays;import ja
2022-02-17 11:35:46
123
原创 【Java快速入门】--网络请求库
java网络请求库依赖<dependency> <groupId>com.github.kevinsawicki</groupId> <artifactId>http-request</artifactId> <version>6.0</version></dependency>http-request文档实例package ljc.utils;import java.uti
2022-02-17 11:35:06
639
原创 【Java快速入门】-- IO/文件等操作
java文件/io等操作package ljc.utils;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.InputStreamReader;import java.io.OutputStreamWriter;public class Io { public static void cmd() throws Ex
2022-02-16 15:36:56
184
原创 【Java快速入门】-- 基础
java入门基础概述强类型静态语言编译型语言，运行性能比较高运行时内存安全，拥有一套GC机制后端语言主要web，爬虫等场景环境安装前往官网下载jdk并安装$ java -versionopenjdk version "17.0.2" 2022-01-18OpenJDK Runtime Environment Temurin-17.0.2+8 (build 17.0.2+8)OpenJDK 64-Bit Server VM Temurin-17.0.2+8 (build 17.
2022-02-16 13:50:58
345
redis思维导图.docx
2020-09-03
HADOOP生态系统.docx
2020-09-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人