机器学习
文章平均质量分 88
法号:行颠
清心为业是为修行
身在凡尘无畏狂颠
展开
-
llama 针对 Intel CPU 的优化
intel 的 oneapi 对 llama 的优化原创 2024-03-24 21:37:41 · 429 阅读 · 0 评论 -
llama.cpp部署
训练完成之后,模型的参数就固定了,这时候就可以使用模型进行推理,对外提供服务。llama.cpp 主要解决的是推理过程中的性能问题。计算类 Python 库的优化手段之一就是使用 C 重新实现,这部分的性能提升非常明显。另外一个是量化,量化是通过牺牲模型参数的精度,来换取模型的推理速度。llama.cpp 提供了大模型量化的工具,可以将模型参数从 32 位浮点数转换为 16 位浮点数,甚至是 8、4 位整数。除此之外,llama.cpp 还提供了服务化组件,可以直接对外提供模型的 API。原创 2024-03-24 21:32:48 · 1379 阅读 · 0 评论 -
Q-Learning 算法介绍
Q -learning是一种无模型 强化学习算法,用于学习特定状态下动作的价值。它不需要环境模型(因此“无模型”),并且可以处理随机转换和奖励的问题,而无需适应。原创 2023-08-03 16:48:52 · 350 阅读 · 0 评论 -
强化学习介绍
强化学习笔记原创 2023-06-30 11:13:27 · 168 阅读 · 0 评论