自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(14)
  • 资源 (1)
  • 收藏
  • 关注

原创 从FlashAttention到FlashDecoding 原理详解

本文从Attention计算的具体过程开始,详细介绍了从safe-softmax到FlashAttention再到FlashDecoding的动机与原理,最后简述了FlashAttention和FlashDecoding在vLLM中的应用情况

2024-06-18 23:47:17 801

原创 原理简介:Linux内存分配机制:伙伴系统buddy system和slab分配器

简要介绍linux当中两大内存分配机制:伙伴系统buddy system和slab分配器

2024-05-13 20:00:39 943

原创 Linux引导内存分配器(boot mem allocator)详解: Bootmem && Memblock

介绍了Linux当中引导内存分配器(boot memory allocator)的发展史、用途和主要的两种实现:Bootmem和Memblock

2024-05-13 19:15:27 540 1

原创 LoongServe论文解读:prefill/decode分离、弹性并行、零KV Cache迁移

LoongServe论文解读。介绍了prefill、decode分离的问题背景。介绍了LoongServe如何通过使ESP实例组根据负载的变化动态地scale up或者scale down并且没有KV Cache的迁移开销。

2024-05-08 20:00:22 2257

原创 深入浅出io_uring

介绍Linux中异步读写I/O框架io_uring的原理

2024-04-12 22:38:17 1887

原创 详解btrfs中文件系统扩展属性xattr的实现

介绍Linux中文件系统扩展属性xattr特性的基本概念,btrfs文件系统的基本结构以及对xattr特性的实现方式。

2024-04-12 21:58:59 1655

原创 LLM大模型压缩——ICLR 2024 SliceGPT(原理详解)

本文深入浅出介绍大模型剪枝方法SliceGPT的原理:核心思想是将主成分分析法PCA获得的正交矩阵对样本空间进行变换,把次要的维度集中在后面并且切掉,正交变换保持了模型的计算不变性,切掉次要维度对网络的影响较小,不需要为了恢复性能再进行微调。

2024-04-12 17:48:53 969

原创 通过网络流证明二分图König定理

通过将二分图转换成网络流的方法证明图论中的König定理

2024-04-08 15:14:19 566

原创 Python学习杂记4:类的高级特性

类的高级特性访问控制变量名类似__xxx__的,也就是以双下划线开头,并且以双下划线结尾的,是特殊变量,特殊变量是可以直接访问的,不是private变量,所以,不能用__name__、__score__这样的变量名。以一个下划线开头的实例变量名,比如_name,这样的实例变量外部是可以访问的,但是,按照约定俗成的规定,当你看到这样的变量时,意思就是,“虽然我可以被访问,但是,请把我视为私有变量,不要随意访问”。如果以__开头,就变成了一个私有变量(private),只有内部可以访问,外

2021-08-09 21:57:37 85

原创 Python学习杂记3:模块

模块文件模板#!/usr/bin/env python3# -*- coding: utf-8 -*-"""comment""" #文档注释 __doc____author__ = 'name'作用域在一个模块中,我们可能会定义很多函数和变量,但有的函数和变量我们希望给别人使用,有的函数和变量我们希望仅仅在模块内部使用。在Python中,是通过_前缀来实现的。正常的函数和变量名是公开的(public),可以被直接引用,比如:abc,x123,PI等;类似__xxx__这样的变量是特殊

2021-08-08 18:15:05 79

原创 Python学习杂记2:函数特性

函数特性高阶函数高阶函数的参数能够接收别的函数。(类似于函数指针)>>>def add(x, y, f):... return f(x) + f(y)>>>f=abs>>>add(-1,3,f)4mapmap()函数接收两个参数,一个是函数,一个是IterableIterable-> map object,每一个元素x->f(x)再用list()转换为列表>>>def char2num(s)

2021-08-08 17:31:28 108 1

原创 Python学习杂记1:基本语法

运算符取整除法 /10 // 3 == 3不转义字符串常量:r’\n’变量:a='\t'a=a.replace('\t',r'\t')字符串编码要注意区分'ABC'和b'ABC',前者是str,后者虽然内容显示得和前者一样,但bytes的每个字符都只占用一个字节。>>>'a'.encode('utf-8')b'a'>>>'中'.encode('utf-8') #Unicode->bytesb'\xe4\xb8\xad'>&

2021-08-06 17:49:21 78

原创 Ubuntu Linux虚拟机断网

Ubuntu Linux虚拟机断网解决方案

2021-05-24 22:57:13 294 2

原创 1.FPGA环境:Vivado+ModelSim+Notepad++

Vivado+ModelSim+Notepad++安装下载链接下载链接:百度云提取码:6w4u安装教程:12345

2021-02-02 22:42:00 249 1

基于TCP的网络通信群聊工具(Python)

本项目是基于Python实现的简单群聊软件,支持创建用户账号、创建群,支持历史记录的云同步,使用MySQL数据库存储账号信息和历史记录,源代码包含服务器和客户端两部分。服务器部分在server文件夹,客户端部分在client文件夹。

2021-09-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除