在任何设备上都可运行LLM#隐私、个性化

最新推荐文章于 2024-08-14 14:10:16 发布
最新推荐文章于 2024-08-14 14:10:16 发布
阅读量264 收藏
点赞数
原文链接：https://mp.weixin.qq.com/s?__biz=MzA3MDgyMjMwMA==&mid=2649967790&idx=1&sn=4c8dd3b13c0872b4887c0214433c275f&chksm=87311c5db046954b4bb5342416acac08f8545d11c41aa496a085242e546905736cf76bf7df0d&scene=126&sessionid=0
版权
文章介绍了多种开源的本地运行大语言模型的解决方案，如RWKVRunner和MLCLLM，它们提供API兼容性和在不同设备上的部署能力，包括iOS、Android和浏览器。这些项目强调了隐私保护和个性化使用，通过WebGPU加速并在客户端进行更多计算，降低了服务器成本。虽然中文模型的质量仍有待提升，但这些工具为AI应用提供了新途径。
摘要由CSDN通过智能技术生成

8fa524d6743d1c95a3b63438b0a18252.png

当Earth配上了本地运行的LLM

fa5a456d2f24d287d9a6e64ecc61fc56.png

shadow

ChatGPT的开源替代方案越来越多，其中有不少本地运行LLM的解决方案，本地模型可以保护我们的隐私和私有数据不被上传到云端，同时，利用本地模型的能力，我们可以实现更为个性化的使用场景。

RWKV Runner

项目旨在消除大语言模型的使用门槛，全自动为你处理一切，你只需要一个仅仅几MB的可执行程序。项目提供了与OpenAI API兼容的接口，这意味着一切ChatGPT客户端都是RWKV客户端。

78f87e046a0b32c96add731be982de48.png

MLC LLM

是一个通用的解决方案，可以在各种硬件后端和本地应用程序上部署任何语言模型，同时为每个人提供一个高效的框架，以进一步优化模型性能以适应其自己的用例。

384e73f375e884da175951bc8e1734d1.gif

mlc.ai/mlc-llm

介绍了如何在iOS、Android和终端上运行LLM，以及如何从GitHub构建应用程序。

针对浏览器，还有webLLM， mlc.ai/web-llm

这是一个将模型部署到浏览器的项目。WebLLM项目将大型语言模型和基于LLM的聊天机器人带到Web浏览器中，无需服务器支持，使用WebGPU加速，提供了构建AI助手和保护隐私的有趣机会。

ffd7401106af2050af85b294ddcaa8a0.png

我们将能够以更少的成本支持客户端个性化AI模型，并提供更好的隐私保护。

mlc.ai/web-stable-diffusion

WebSD项目将稳定扩散模型带到了Web浏览器中，无需服务器支持。该项目提供了一个演示，让用户可以在浏览器中尝试。这个项目旨在把更多的计算放在客户端，从而降低服务器成本，同时增强个性化和隐私保护。

a5263542f59b964a81f70d65741fb466.png

11de6b88c329189f24608749669dd739.png

opus

哇，浏览器也可以玩耍SD啦，我是不是不用去折腾automatic1111啦。

d6e73b5fb52fd1cf5d482f6e3eab0d0d.png

shadow

是的，不过要注意，目前中文模型质量一般，推荐使用英文模型。中文场景的实际应用，还需要耐心等待技术的发展。

加入社群：

56c7d14972dc57cb53d858ed6e4ad6cb.jpeg

相关推荐：

你的业务被AI所取替的风险度有多高？

共建因变DAO，Mixlab·因变联名款戒指开启众筹

iBrand全新内刊#003

shadowcz007
关注
LLMbasedAgent的个性化定制与训练
AI大模型应用之禅
05-22 979
LLM-based Agent 的个性化定制与训练 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 LLM 驱动 Agent 的兴起 近年来，大型语言模型（LLM）的快速发展彻底改
【一切皆是映射】AI 大模型 LLM + 推荐系统 RS：个性化的艺术——基于LLM的推荐系统用户行为预测
AI天才研究院
07-15 1167
在当今数字化时代，推荐系统已成为互联网服务的核心组成部分，广泛应用于电子商务、社交媒体、新闻资讯等领域。传统的推荐系统主要依赖于协同过滤、内容过滤等技术，虽然取得了一定的成效，但在处理复杂、动态的用户行为和多样化的内容时仍面临诸多挑战。随着人工智能技术的快速发展，特别是大语言模型（Large Language Models，LLMs）的出现，为推荐系统的革新带来了新的机遇。大语言模型凭借其强大的自然语言理解和生成能力，为用户行为预测提供了全新的视角和方法。
中科大提出：LLMs的个性化综述，详述大模型与个性化的挑战与机遇
zenRRan的博客
08-20 721
来自：专知进NLP群—>加入NLP交流群大型语言模型的出现标志着人工智能领域的一次革命性突破。得益于前所未有的训练规模和模型参数，大型语言模型的能力得到了显著提升，从而在理解、语言合成和常识推理等方面达到了与人类相似的表现。这种在通用AI能力上的重大飞跃将从根本上改变个性化服务的实施模式。首先，它将改变人类与个性化系统之间的交互方式。大型语言模型不再是像传统的推荐系统和搜索引擎那样的被动信息...
基于用户角色的 LLM 生成响应的个性化
2401_85233349的博客
08-14 754
我们提出并详细介绍了三种 LLM 个性化技术：(a) 基于角色的 LLM 微调，(b) 生成用于推理的用户 LLM 嵌入，以及 (c) 基于强化学习的 LLM 个性化。在某种程度上，当我们谈论应用生成式人工智能 (Gen AI) 来解决当今的特定用例时，我们基本上是在个性化预训练的（基础）LLM，以便它提供针对该用例的特定响应。动作（a）：在这种情况下，动作 a 对应于作为正在进行的对话的一部分，响应用户查询/提示而传递给用户的 LLM 生成的响应。在我们的案例中，环境对应于与聊天应用程序交互的用户。
MLC--机器学习编译的课程笔记
CoSword
08-11 1440
MLC机器学习编译的精简笔记，尝试用简要地表达一些概念，目的不是大而全，需要更全面的可以看陈天奇老师课程课程。
B站UP搭建世界首个纯红石神经网络、基于深度学习动作识别的色情检测、陈天奇《机器学编译MLC》课程进展、AI前沿论文 | ShowMeAI资讯日报
ShowMeAI研究中心
07-05 1万+
ShowMeAI资讯日报 2022-07-05 期，代码转换器c2go、B站UP搭建世界首个纯红石神经网络、从文本创建图像、基于深度学习动作识别的色情检测、机器学习100讲、陈天奇《机器学编译MLC》课程进展、6篇前沿论文…点击获取全部资讯...
可以在任何地方运行的开源 LLM 聊天机器人
01-03
综上所述，"可以在任何地方运行的开源 LLM 聊天机器人"是一个高度灵活、可定制的解决方案，它结合了先进的人工智能技术与开源社区的力量，为开发者和最终用户提供了一种强大的交互式工具。通过深入研究和利用这个...
在笔记本电脑上本地运行大型语言模型 (LLM) 的 5 个免费工具(GPT4All LM Studio Ollama LLa MA.cpp NV) 解锁自定义 AI：在本地运行大型模型以实现控制和隐私
iCloudEnd的博客
04-25 469
虽然在线访问基于 LLM 的聊天机器人很简单，只需互联网连接和良好的浏览器，但它存在潜在的隐私风险。例如，OpenAI 存储您的交互和元数据以改进其模型，这引起了注重隐私的用户的担忧。选择在本地使用这些模型为那些寻求更好地控制数据的人提供了一种解决方案。在本文中，我们将探讨在本地利用大型语言模型 (LLM) 的五种方法。这些工具兼容主要操作系统，可以快速下载和安装。通过本地运行的法学硕士，您可以保留对模型选择的控制权，并可以轻松地从 HuggingFace 中心访问模型。
【人工智能】大模型（LLM）与人类大脑的结构及运行机制的关系
热门推荐
AI天才研究院
05-23 2万+
近年来，人工智能领域取得了长足的进步，尤其是大型语言模型（Large Language Models，简称LLM）的出现，让AI在自然语言处理、知识表示、推理决策等方面的能力大幅提升，引发了学术界和业界的广泛关注。LLM作为当前AI领域最前沿、最具颠覆性的技术之一，其结构设计与运行机制深受人类大脑的启发。探究LLM与人脑之间的关系，对于深入理解人工智能的内在机理、指导未来AI系统的设计都具有重要意义。
选择性提示微调：打造更个性化的 LLM 对话体验
步子哥的博客
07-01 1199
选择性提示微调 (SPT) 为个性化对话生成提供了一种有前景的方法。SPT 通过联合训练软提示组和密集检索器，自动适应不同的对话场景，在提高语言和基于神经网络指标的同时，丰富了响应的多样性。实验结果证明了 SPT 在生成更具吸引力和个性化的对话方面的有效性，为未来在对话式 AI 领域的研究开辟了新的途径。
【原创】MLC LLM AI 本地部署
张志鹏的博客
06-11 1968
运行 build.py 或者 mlc_chat.rest 需要用 mlc_ai_nightly_cu121 或者 mlc_ai_nightly_vulkan的 libtvm.so 和 libtvm_runtime.so。需要注意，如果使用 mlc_chat_cli，需要用编译tvm后的 libtvm.so 和 libtvm_runtime.so.复制替换的方式不优雅，可以配置 LD_LIBRARY_PATH。
机器学习编译第1讲：机器学习编译概述
10点43的博客
06-20 867
MLC-机器学习编译-第一讲-机器学习编译概述课程主页：https://mlc.ai/summer22-zh/ 机器学习应用程序已经无处不在。我们的智能家居设备由自然语言处理（NLP）和语音识别模型驱动，自动驾驶技术依赖于计算机视觉模型作为支柱，还有推荐系统帮助我们在探索时发现新内容。 同样有趣的是AI应用的部署环境是非常丰富的。推荐系统算法通常由大型公司部署在云平台上；当我们谈论自动驾驶时，我们首先想到的是强大的 GPU 或车辆上的专用计算设备；我们使用手机上的智能应用程序来识别花园中的花朵以及如何照料它
MLC LLM：将大模型运行在手机端的部署工具
小鹏AI
05-01 4456
MLC LLM依赖于开源生态系统，更具体地说，是 TVM Unity，这是 TVM 项目中一个令人兴奋的最新发展，它支持 Python 优先的交互式 MLC 开发体验，使我们能够轻松地用 Python 编写新的优化，并逐步将我们的应用带到感兴趣的环境中。利用优化，如融合量化内核，一流的动态形状支持和不同的 GPU 后端。提供了一个轻量级的基于 C + + 的示例 CLI 应用程序，它展示了如何包装已编译的构件和必要的预/后处理，这将有望澄清工作流程，以便将它们嵌入到本地应用程序中。
AIGC的隐私安全问题及隐私保护技术
京东科技开发者
02-27 4480
Chatgpt的风靡，也让其背后LLM（大型语言模型）技术中的数据隐私保护问题进一步受到关注。作为国内隐私计算行业领军者，京东科技全程深度参与了「4大报告+3大标准」的编写研制工作，取得丰硕成果。
I2C总线接口技术的应用.zip
10-07
硬件接口+总线+教程资料
fraps2.6.1.zip
最新发布
10-07
fraps2.6.1.zip
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值