爆火!开源多模态大模型在手机端进行本地部署!

节前,我们组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。

针对大模型& AIGC 技术趋势、大模型& AIGC 落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。

总结链接如下:

《AIGC 面试宝典》(2024版) 正式发布!

喜欢记得点赞、收藏、关注。更多技术交流&面经学习,可以文末加入我们。


大家好,今天继续聊聊科技圈发生的那些事。

一、MiniCPM-V

我们能把 GPT 本地部署到手机上了!不是用 API,而是完全本地化!

图片

MiniCPM-V,这是一款端侧可用的 GPT-4V 级多模态大模型。MiniCPM 是一个大系列的模型,通常来说,大模型都是部署在服务器上,或是 PC 本地部署的。而 MiniCPM 将大模型部署到了手机上!(当然,苹果手机肯定是用不了的)

图片

系列有两个值得关注的模型,一个是 MiniCPM,一个是 MiniCPM-V,二者的区别主要在于,MiniCPM-V 侧重于图像处理。而今天我们分享的内容,主要关于 MiniCPM-V。

对于这样一款侧重图像分析的模型,我们只需要提供一张图片作为输入,再提供一些文本指示需要根据图片生成的内容,模型就会在很快的时间内提供输出。比如,你可以让它帮你把图片中的内容转成 Markdown 格式,或是分析图上讲了什么。

图片

MiniCPM-V 拥有超级优秀的 OCR 能力。MiniCPM-Llama3-V 2.5 可接受 180 万像素的任意宽高比图像输入,在OCRBench 得分达到 725,超越 GPT-4o、GPT-4V、Gemini Pro、Qwen-VL-Max 等商用闭源模型,遥遥领先!

图片

借助最新的 RLAIF-V 对齐技术,MiniCPM-Llama3-V 2.5 具有更加可信的多模态行为,幻觉率已经显著低于 GPT-4V-1106,来到了开源模型的 TOP1 宝座。

图片

无论你使用的是 Windows、Mac 还是手机,MiniCPM-V 都能兼容你的设备提供本地部署方案。当然,Huggingface 的在线体验 demo 也已经发布。感兴趣的小伙伴,可以根据条件自行试试。

在线体验地址:

https://huggingface.co/spaces/openbmb/MiniCPM-V-2

项目地址:

https://github.com/OpenBMB/MiniCPM-V

二、VirtualWife

VirtualWife,虚拟老婆?一个令人激动,又有一点害羞的名字,事实上,这是一款虚拟数字人项目。基于 Python 开发,运用了自然语言处理(NLP)和机器学习技术,你可以创建属于自己的 AI 伴侣。

不知道大家是否有了解过前些年大火的游戏《主播女孩重度依赖》?在游戏中,玩家作为男友陪伴患有心理疾病的主播女友,不断攻略发展,最终走向不同的结局。

图片

即使拥有20多种不同的结局和拉满的小细节,游戏的内容始终是人们设定好的。现在,VirtualWife 项目可以让我们真正的实现虚拟伴侣,不再是类似 Galgame 的交互,而是配合人工智能技术,实现你本人“私人订制”的伴侣。

图片

实现 VirtualWife 的核心是 NLP 技术。NLP 即 Natural language processing,自然语言处理。这使得 AI 可以通过自然语言输入进行语义的理解和分析,并且能给出相应的输出。同时,随着交互越来越深入,VirtualWife 会通过持续的学习,生成更具个性化的回复。

于是,经过一段时间的培养,一个可以陪伴你日常生活,听你倾诉,有问必答的虚拟伴侣就诞生了。下至生活琐碎,上至天文地理,对你的 VirtualWife 来说都不在话下。

如果你愿意的话,通过 VirtualWife 创造的虚拟伴侣可以支持B站直播,你可以在直播间的弹幕里发信息,它会像一个真正的虚拟主播一般回复你。

图片

项目通过 Docker 部署,项目主页上也有很完整的部署教程,感兴趣的小伙伴可以自行体验一下。

项目地址:

https://github.com/yakami129/VirtualWife

好了,本期的内容就是这么多,我们下期再见!

技术交流&资料

技术要学会分享、交流,不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。

成立了算法面试和技术交流群,相关资料、技术交流&答疑,均可加我们的交流群获取,群友已超过2000人,添加时最好的备注方式为:来源+兴趣方向,方便找到志同道合的朋友。

方式①、微信搜索公众号:机器学习社区,后台回复:加群
方式②、添加微信号:mlc2040,备注:来自CSDN + 技术交流

通俗易懂讲解大模型系列

  • 28
    点赞
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值