- 博客(4)
- 收藏
- 关注
RSS订阅转载 探秘Transformer系列之（36）--- 大模型量化方案
继前一篇介绍了大模型量化基础之后，本篇我们来看看一些量化方案。因为大家目前都用压缩到某个bit来衡量量化方案，因此我们接下来就按照量化比特来进行分类学习。因为目前硬件 (例如 NVIDIA GPU、Intel CPU、高通 DSP 等) 普通都支持INT8 GEMM，因此为了加快推理速度，研究人员提出了将 weight 和 activation 量化为 INT8 (即 W8A8)的方案。下图给出了几种8bit量化方案的对比。本节介绍的三种方案特点摘要如下。LLM.int8()出自论文“ LLM.int8()
2025-06-30 11:12:36
29
转载 window-docker的容器使用宿主机音频设备
你有没有遇到过这种情况？你兴冲冲地在Windows上用Docker搭了个语音识别项目，准备让容器高歌一曲，或者至少"Hey Docker"一下。结果——静音。Docker Desktop一脸无辜："亲，默认配置里可没有'让你的容器唱歌'这个选项哦~"于是，你的容器像个哑巴，明明代码写得飞起，却死活发不出声音。这感觉就像教鹦鹉说'Hello World'，但它死活不张嘴！Docker：我聋了，也哑了默认情况下，Docker容器在Windows上就像戴了降噪耳机——它听不见你，你也听不见它。
2025-06-23 14:08:34
19
转载 wso2~对接外部认证系统keycloak
功能允许您将外部身份管理系统（如 Keycloak、Azure AD、Okta 等）集成到 WSO2 平台中，实现联合身份认证（Federation）。在 WSO2 Identity Server 或 WSO2 API Manager 中，转载于: https://www.cnblogs.com/lori/p/18882531。确保服务提供者使用的声明与 Identity Provider 的映射一致。完成 Identity Provider 的创建。Realm 或新建一个（如。，使用管理员账号登录。
2025-05-23 03:56:46
23
转载 java从excel筛选然后导入数据到数据库
Excel,数据库,开发者相关视频讲解：用python编程Excel有没有用处？美国禁用中国大学MATLAB快四年，国产替代完成了吗？教你如何实现“java从excel筛选然后导入数据到数据库”流程表格步骤操作1读取Excel文件2筛选数据3连接数据库4将数据导入数据库...
2024-06-30 03:28:09
183
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人