- 博客(29)
- 收藏
- 关注
RSS订阅原创 VLLM 的PagedAttention 实现中KV Cache 的块（block size）大小的选择内存使用效率的影响
PagedAttention 的实现中，每个块的大小是一个关键参数。块越大，查找效率越高，但容易浪费内存；块越小，内存利用率更高，但管理开销也更大。根据 vLLM 的开源实现，默认的块大小是 512 tokens。这个值在大多数情况下能平衡内存利用率和性能开销，但可以根据实际应用场景进行调整。对于长序列任务，可以考虑更大块；对于更灵活的动态任务，可以选择较小的块。
2025-01-09 17:34:44
687
原创 VLLM 中PagedAttention如何解决KV Cache 的三大问题？
PagedAttention 的核心思想是通过 分页 的方式管理 KV 缓存，从而： 1. 大幅减少 GPU 内存占用。 2. 动态、高效地管理内存，避免碎片化和内存浪费。 3. 支持更大规模的 LLM 服务，提升系统的并发能力和稳定性。
2025-01-09 17:14:34
1501
原创 Transformer 与 VLLM 推理中 RMSNorm 计算差异分析
fused_add_rms_norm_kernel的实现使用了 C/C++，此处不附加源码，简单总结与 HF 实现的区别。内核融合将残差加法和RMSNorm合并成一个操作，减少内核调用次数，提高性能。并行归约操作 (BlockReduce)，归约操作是内存带宽受限计算的瓶颈，通过线程块内的归约操作高效地计算均方值，可以显著提升性能。使用CUB的向量化内存加载，对于FP16和BF16数据类型，内核使用向量化加载来减少内存访问次数，向量化加载一次读取 128 位（即 8 个float16。
2025-01-07 09:53:13
1153
原创 Hertz-dev: 全球首个开源“全双工，纯音频”对话音频生成基础模型深度解析
Standard Intelligence 公司一周前发布了业界首个开源的对话音频生成基础模型 hertz-dev。这个总参数量达到 85 亿的全双工音频模型不仅性能出众，更是完全开源，让我们一起来深入了解它的技术细节。
2024-11-11 09:46:17
678
原创 H100 使用bitsandbytes 进行模型 8Bit 量化时遇到报错：Exception: cublasLt ran into an error!
根据git issue的讨论，这个问题实际上是 bitsandbytes 库对 H100/H800 这类 Hopper 架构 GPU 的 8-bit 量化不支持的根本问题。这个问题目前仍然处于开放状态，官方团队正在考虑对 Hopper 架构的支持。如果必须在 H100/H800 上运行，建议使用 4-bit 量化作为替代方案。硬件级别的兼容性问题无法通过代码优化来解决。
2024-11-05 11:32:22
604
原创 TPU和GPU的区别
TPU（Tensor Processing Unit）和GPU（Graphics Processing Unit）都是用于加速机器学习模型训练的硬件，但它们在性能和适用性上有所不同。
2024-07-19 09:49:43
2392
原创 变分自编码器（Variational Autoencoders, VAEs）技术细节
变分自编码器（Variational Autoencoders, VAEs）是一种生成模型，能够学习输入数据的潜在表示，并通过这些潜在表示生成新的数据样本。VAEs 在处理高维数据（如图像、音乐、文本）方面表现出色，并能够生成多样化的数据样本。
2024-07-18 10:08:03
1211
原创 Transformer和LSTM的对比
Transformer和LSTM是两种不同的神经网络结构，主要用于处理序列数据，如自然语言处理、时间序列分析等。它们在结构和处理方式上有显著的区别，各自有其优缺点。以下是详细的对比。
2024-07-18 09:53:48
2309
原创 如何在模型训练过程中进行GPU加速？
命令来监控GPU的使用情况，这个命令会显示当前GPU的使用率、温度、显存使用等信息。多张GPU考虑使用分布式训练来进一步加速训练过程。TensorFlow的。2.安装深度学习框架和与CUDA兼容的库。1.确保是支持CUDA的NVIDIA GPU。模块都提供了多GPU训练的支持。4.优化GPU利用率。
2024-07-18 09:52:27
357
原创 用户登录－GUI及事件响应
用户登录－GUI及事件响应题目描述编写一个JFrame框架登录应用程序，包括：JLabel 用户名JLabel 密码JTextFiled 用于用户输入用户名JPasswordField 用于用户输入密码JButton 确定JButton 取消事件响应：输入正确的用户名和密码，系统提示“用户名和密码正确，欢迎登录！”，否则提示“用户名或密码错误，请重...
2020-04-19 00:19:11
684
原创 仿Windows计算器－－GUI及事件处理
(0分)设计Manager类、GUI类及事件处理题目描述(1)设计一个Manager类并编写代码， Manager类的属性有姓名，工号，基本工资，小时工资(元/小时）。自定义方法：至少包括计算月工资的方法：calSalary()。(2)编写一个GUI类，输入manager的姓名、工号，基本工资，月工作时间（小时），创建对象，调用calSalary()方法计算出该manager的月工资...
2020-04-19 00:18:28
399
原创 设计Manager类、GUI类及事件处理
设计Manager类、GUI类及事件处理题目描述(1)设计一个Manager类并编写代码， Manager类的属性有姓名，工号，基本工资，小时工资(元/小时）。自定义方法：至少包括计算月工资的方法：calSalary()。(2)编写一个GUI类，输入manager的姓名、工号，基本工资，月工作时间（小时），创建对象，调用calSalary()方法计算出该manager的月工资，并显示在用户...
2020-04-19 00:17:32
851
原创 JAVA实验3创建Account子类
题目描述在上一次的实验中，定义了一个Account类来模拟银行账户，它有账号、余额、年利率、开户日期等属性，以及存款和取款等方法。创建两个Account类的子类：支票账户和储蓄账户，支票账户有一个透支限额，但储蓄账户不能透支。（1）实现这些类；（2）编写测试程序，创建Account、SavingsAccount和CheckingAccount类的对象，调用它们的toString()方法.输...
2020-03-30 09:42:51
3401
原创 JAVA实验3复数类
题目描述根据要求编程实现复数类ComplexNum:属性：real,imag,代表实部和虚部，均为double类型。方法：ComplexNum(): 成员变量值设为0ComplexNum(double r,double i):double getReal() double getImagPart()void setReal(double d)void setImag(double...
2020-03-30 09:41:56
1358
原创 JAVA实验3 学校教师类
题目描述学校有教师、实验员、行政人员，请编写员工这个基类并派生出教师、实验员和行政人员三个类。教师有基本工资（整型）和课酬标准（整型，元/小时）；实验员有基本工资（整型）和每周在岗时间（整型）；行政人员有基本工资（整型）和岗贴（整型）。请编写各类定义，其中打印基本信息为抽象类，并编写统一的打印函数根据不同的输入打印出不同类的信息。输入描述依次输入三类人员的成员属性（整型）：教师基本工资、课...
2020-03-30 09:41:02
1581
原创 JAVA实验3 Circle及其子类Cylinder
题目描述派生类Circle获得圆柱体Cylinder，要求：1）添加属性成员圆柱的高（整型数据）。2）增加获取圆柱高的成员函数，计算圆柱体的体积的函数。3）运行主类，输入半径和高，输出圆柱体的体积。输入描述输入圆柱体的半径和高（整型）输出描述输出圆柱体的体积（均为双精度数据）。输入样例12输出样例体积=6.283185307179586import java.util....
2020-03-30 09:39:49
2557
原创 JAVA实验3Circle类
题目描述实现类Circle，要求：1）构造函数参数为半径（整型数据）。2）成员函数为标准的获取和输出半径的函数；计算周长、面积的函数；输出半径、周长和面积的函数。3）运行主类，输入半径，依次输出半径、周长和面积。（周长和面积保留4位小数）输入描述输入一个整形数据代表半径输出描述依次输出半径、周长和面积（均为双精度数据，周长和面积保留4位小数）输入样例1输出样例半径=1周长...
2020-03-30 09:38:40
986
原创 自定义常用数学类
题目描述定义一个实现常用数学运算的类MyMath，类中提供max()、min()、sum()与average()四个静态方法，每个方法带有三个整型参数，分别实现对三个数求取最大值、最小值、和值及平均值的运算。定义测试类，在主类中对任意输入的三个整数，调用MyMath类的四种静态方法，求取结果并输出。平均值保留一位小数输入描述输入三个整数输出描述三个数的最大值， 最小值，和以及平均值（保...
2020-03-23 23:14:36
1847
1
原创 学生类定义
题目描述定义学生类，其中包括3个成员变量(String 姓名，String 学号，float 分数)，两个构造方法（一个默认的没有参数的构造方法，另一个为带三个参数姓名学号分数的构造方法用于给成员变量赋值）和show（）方法。show方法用于显示每个学生类对象的成员变量信息。显示的格式为：姓名：XXX，学号：XXXX，分数：XX 分数保留一位小数。定义测试类，在main方法中实例化一个学生类对...
2020-03-23 23:13:42
7105
原创 元角分转换
题目描述定义Money类，其含有三个成员变量：元，角，分。定义两个构造方法，一个构造方法有三个参数分别为：元，角，分；另一个构造方法只有一个参数，表示输入多少分钱，你需要在该构造方法中将分转换为元角分并初始化成员变量元角分。同时定义一个show方法，用于输出成员变量的信息。定义测试类，创建一个Money类对象，并通过键盘输入一个整数代表多少分钱，然后调用show方法输出对应的元角分。输入描述...
2020-03-23 23:12:46
1696
原创 设计矩形Rect类
题目描述设计矩形Rect类，有两个float 类型的属性成员长和宽，求面积和周长。要求：设计两个以上的构造方法(1)无参数，采用默认值0；(2)两个参数，长方形。设计测试类，输入数据，输出面积和周长。输入描述同一行输入两个数据输出描述同一行显示输出矩形的面积和周长，保留小数点后两位。输入样例2 3输出样例6.00 10.00import java.util.*;p...
2020-03-23 23:11:51
1147
原创 电源接口
**题目描述**设计一个电源的接口，有一个输入电压的整型常量，值为220；设计两个抽象方法：1）充电方法，AddPower()；2）放电方法，GetPower()。设计电动汽车类和电脑类，设置充电电压（double）、放电量（int）和名字（String）属性，实现构造方法、基本的输入输出方法和电源接口，要求：1）在电动汽车的电源接口中的充电方法中打印输出：“我是XX电动车，我在充电，输入...
2020-03-23 23:10:09
523
原创 随机生成数字并排序
题目描述随机生成100个0-1000之间的整数，并按照从小到大的顺序排序显示，排序算法自选。输入描述无输出描述按每行10个数据输出显示输入样例无输出样例无（因数据随机产生，要求通过就行，不要在意分数）import java.util.Random;public class Main{ public static void main(String[] args) { in...
2020-03-23 23:07:20
1518
原创 输入日期数据，并按要求输出显示
题目描述输入日期数据，计算出这是一年中的第几天，并按要求输出显示。注意闰年的区别。输入描述输入时间日期，用空格分开输出描述分别按格式输出日期，和在一年中的天数输入样例2019 8 30输出样例你输入的是2019年8月30日这是2019年的第242天import java.util.Scanner;public class Main{ public static void...
2020-03-23 23:06:22
478
1
原创 编写一个程序，用于计算体质指数BMI，并打印结果。
题目描述编写一个程序，用于计算体质指数BMI，并打印结果。BMI = 体重(kg)除以身高(m)的平方BMI结果：偏瘦：<18.5正常：< 25偏胖：< 28肥胖：>=28输入描述输入身高 体重值输出描述输出体质指数BMI输入样例75 1.72输出样例您的体重偏胖！import java.util.Scanner;public class...
2020-03-23 23:05:19
6208
原创 小球自由落体后反弹，计算路线和反弹高度。
题目描述一弹跳小球从120米高度自由落下，每次落地后反跳回原高度的一半；计算n次落地经过的路线总长度和下次反弹的高度。输入描述输入第几次落下输出描述输出经过的路线总长度和下次反弹的高度。（中文冒号，数据保留两位小数）输入样例5输出样例总运动距离为：345.00m下次反弹高度为：3.75mimport java.util.Scanner;public class Main{...
2020-03-23 23:03:55
4331
原创 求完数
题目描述一个数如果恰好等于它的因子之和，这个数就称为“完数”，例如，6的因子为1、2、3，而6=1+2+3，因此6就是完数。编程找出1000以内的所有完数输入描述无输出描述1000以内的所有完数输入样例无输出样例628496public class Main{ public static void main(String[] args) { int i,j; in...
2020-03-23 23:02:36
347
原创 实现（3*3）二维数组的转置
题目描述输入一个（3*3）整数二维数组，转置后输出。输入描述在一行输入9个整数，以空格分开输出描述输出转置后的（3*3）二维数组输入样例1 2 3 4 5 6 7 8 9输出样例1 4 72 5 83 6 9import java.util.Scanner;public class Main { public static void main(String[] args...
2020-03-23 23:01:29
1865
原创 机器人设计
机器人设计题目描述设计一个机器人的抽象类，具有质量（double）、名字（String）等属性；具有设置属性值方法和获得并打印属性值的方法，还有一个运动的抽象方法move()。设计电动汽车类和飞行器类，这两个类继承机器人抽象类，实现抽象方法，并在抽象方法中打印输出“我是电动汽车，我在地上跑！”（电动汽车类），以及“我是飞行器，我在天上飞！”（飞行器类）。设计测试类，分别生成电动汽车和飞行器的实...
2020-03-23 22:59:49
1914
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人