本地LLM正在往可用的方向进化,之前我们推荐了:
提到了LM studio 搭配 MixCopilot 的方式,在个人电脑上使用本地LLM。本地LLM模型其中有一个方案就是cpp,使用c++的一个轻量级的推理引擎,更适合本地化、个人电脑使用。
LLM的本地模型在对设备的要求和效果上,明显不如Stable diffusion,基于SD的ComfyUI,在小显存个人电脑上可以运行,并且效果和云上的版本基本没有太大的差别。
属于每个人的本地生成式AI,图像方向的模型是走在前面的,而本地LLM正在追赶这个进度。
谷歌开源了gemma.cpp。受垂直集成模型的实现启发(例如 ggml, llama.c, 和 llama.rs),gemma.cpp是一个轻量级、独立的C++推理引擎,用于Google的Gemma基础模型。
gemma.cpp提供了Gemma 2B和7B模型的简约实现。核心实现只有约2K行代码。
本地LLM大部分用的是llama.cpp的解决方案,比如LM studio底层就是基于llama.cpp,所以实现跨平台的桌面LLM应用是非常方便,并且体积也不大(相对于torch动辄几个GB的体积而言)。
cpp适用哪些场景呢?谷歌也提到了,建议cpp用于实验和研究,嵌入其他项目非常方便。比如,我们可以把gemma.cpp嵌入到游戏引擎,实现AI驱动的游戏。
gemma.cpp也提到了项目是为谁准备的:
针对实验和研究用例。它旨在嵌入到其他项目中时具有最小的依赖关系,并且可以轻松修改,核心实现只有约2K行代码(以及约4K行代码的支持工具)。我们使用Google Highway Library利用可移植的SIMD进行CPU推理。
对于面向生产的边缘部署,我们推荐使用JAX、Keras、PyTorch和Transformers等Python框架的标准部署路径(这里包括所有模型变体)。
图像生成正在往更为可控的方向发展
如何在扩散模型中实现概念的精准控制?
这个技术叫Concept Sliders 概念滑块,是一个Lora模型。用于在扩散模型中实现精准控制的Lora模型。
艺术家需要花费大量时间来制作提示和调整参数,以便通过文本生成图像模型生成所需要的图像。他们需要对生成图像中的属性 (眼睛大小或者光照强度)强度有更为细致和精确的控制方式。
为了实现精确的控制而不改变提示,作者提出了概念滑块,训练概念滑块Lora来表示所需要的属性强度。在生成时,这些lora可以用于控制图像中的概念的强度,从而实现微调。
遇见AIer
另外,我们最近更新了新一期的播客:
遇见AIer #E2:AI在展览设计与数字艺术中的应用
本期节目,我们邀请了资深数字艺术玩家Annie,深入探讨了AI如何在展陈行业成为技术美术的得力助手。
Annie分享了AI在提升创作效率、丰富作品表现力以及降低沟通成本方面的显著效果。她通过自己的项目经验,分享了AI如何在短短几小时内完成过去需要团队一周才能完成的工作,以及如何通过AI工具实现个人在艺术创作上的独立性。
安妮还强调了AI作为学习工具的重要性,以及它如何帮助缩小国内外数字艺术的差距。她提出了对当前艺术教育中AI应用的担忧,并讨论了如何利用AI工具帮助艺术生实现职业上的弯道超车。此外,她还推荐了几款实用的AI工具,并分享了对Sora视频生成工具的期待。
欢迎收听,入群
我们除了关注技术的发展趋势,创作者的工作流程和经验分享,我们也在使用LLM等技术对最新的前沿论文进行整理分析:
在信息科技日新月异的今天,计算机领域的论文阅读成为了我们不断学习和进步的关键。
以生成式AI领域的论文为例,通过阅读这些论文,我们可以深入了解各种可控(lora、controlnet等)、实时(lcm)等前沿技术的发展,掌握其原理和应用。这些论文不仅为我们提供了丰富的知识,更训练了我们的逻辑思维和问题解决能力。
在信息爆炸的时代,我们更需要学会筛选出有价值的论文。此时,整理好的论文总结和精选就显得尤为重要。它们可以帮助我们快速定位到论文的核心内容,提高阅读效率。同时,这些总结和精选往往还会附带专业解读和评价,帮助我们更好地理解和应用论文中的知识。
就像我们上学的时候,学长学姐的课程笔记。复用前辈的经验,效率是最高的。
几倍、十几倍地省时间
我们即将推出 论文 相关的内容,
如果你感兴趣,
可以填写表格,
关注最新消息。
社区模式下的GenAI解决方案,总有一款适合你#Mixlab
入群备注:入群
另外,我们在3月2号,会进行一个线上的圆桌讨论,话题自然是最近非常火爆的Vision pro和OpenAI sora,直播预告: