拍照查卡路里APP - 智能体

前面我们用百度“图像内容理解”实现了APP的卡路里查询功能,但不太完美,目前有两个限制:

  1. 提示词的长度不能超过100个字符,

  2. 识别效果有时不太理想,比如耙耙柑识别成柿子,有时没有卡路里信息。

解决办法也很简单,换更好的大模型

我们可以到一些平台上测试不同大模型,比如 coze.cn, 阿里百炼等。

这里以coze.cn为例,登录进去可以创建一个智能体。

智能体也叫AI Agent,OpenAI中叫GPTs, 可以简单理解为用大模型实现的小工具,比如专门做旅游攻略的智能体,陪你练口语的智能体,心理辅导的智能体等。当然这里我们要实现的是拍照查卡路里的智能体。

这是智能体的主界面:

界面由提示词(左),功能组件(中)和预览调试(右)三部分组成。

先设置提示词:

这里就没有100个字的限制了,我们可以详细说明需求,确保大模型返回期望的数据。比如这里我们额外要求大模型返回图中食物的位置信息。此外,还可以点击“优化”按钮来让大模型自动整理提示词,以便更好地理解用户需求。

中间部分为智能体提供了丰富的功能。其中最重要的就是选择模型。

列表中有几十个模型可供选择,包含国内主流的大模型,这里我们选择了豆包专门做图像理解的视觉模型。

除了大模型,平台还提供了丰富的插件,自定义工作流,知识库等功能,用于扩展智能体的能力。

右边是预览调试部分,下面是测试结果,可以看到效果还是不错的。

这样,我们就验证了这个智能体能够满足拍照查卡路里的需求,同时也具备很强的扩展性。接下来就可以用它替换百度的模型了。

方法也很简单,平台提供了智能体的API。与调用百度的API类似,只需要简单的修改一下代码就能完成替换,这里我们就不演示了。

对于AI应用,切换后端大模型是非常方便的。

零编码AI应用

除了智能体,我们还能直接在coze上创建有UI界面的应用,这些应用可以直接发布到微信小程序和其他社交平台。

这种应用一大亮点是不需要编码。平台提供了各种常用UI组件,用户可以通过拖拽的方式设计APP界面。通过工作流,可以调用大模型或其他插件,实现丰富的AI功能。

CloudMan也在coze上创建了一个拍照查卡路里的APP。下面给大家演示一下效果并解释其核心逻辑。

aiagent

总结

拍照查卡路里的教程到此就结束了,下面回顾一下要点。

  1. AI应用的能力主要取决于大模型的能力。大模型的飞速发展使得我们有能力实现前所未有的功能。即便有些功能现在无法实现,我们也可以乐观地期待大模型进步。替换后台模型非常简单。

  2. AI辅助编程非常强大。流程简单、直接:我们提需求,AI负责实现;我们提改进意见,AI负责优化;我们指出bug,AI负责修复。

  3. 开发门槛大大降低,编码已不再是障碍。AI帮我完成了80%的具体编码工作。

  4. 好的点子和洞察用户需求将更为重要。

  5. 智能体(AI Agent)很可能会成为主流。通过工作流,多个Agent能协调工作,完成复杂的任务。

最近谷歌新出了一套多智能体的AI系统,叫AI co-scientist,AI协同科学家。它就像一个研究合作者,可以帮助人类科学家生成新颖的假设和研究提案,并加速科学和生物医学的发展。

它由一组Agent组合而成,分别负责生成、反思、排名、进化、接近和元评审。

简单说,就是这个系统里有很多“智能小人”,每个小人负责自己的任务。比如负责“生成”的智能体,它的任务就是从科学家的初始想法出发,通过搜索和研究等方式,提出更多的想法。智能小人们分工协作,推动整个研究向前发展。

不知道这段时间大家有没有被Manus刷屏。我感觉这才是智能体该有的样子。

我们给它一个指令,比如调研某家上市公司,它会自己规划完成任务的步骤,自己创建工作流,然后自己执行。需要收集数据,智能体会自己用浏览器上网爬数据;需要统计分析,智能体会调用工具甚至自己写程序搞定;需要出报告,智能体会自己生成图表,PDF。

真正的智能体要能够自主规划并自动调用各种工具完成任务。不管最终Manus能否成功,它确实走在了正确的路上。

AI已来,时不我待啊,朋友们

公众号Cloudman6

数据分析 人体健康信息 体重 身高 年龄 菜品信息 菜的名称 卡路里 蛋白质,脂肪等 推荐的食用量 某个人群对应的改善体质(减肥,塑性,增肌等)的方案 菜谱 运动方式 数据集和api 图像识别食物,获取卡路里: https://cloud.baidu.com/product/imagerecognition/fine_grained nutrition facts from food : https://www.kaggle.com/openfoodfacts/world-food-facts#en.openfoodfacts.org.products.tsv https://world.openfoodfacts.org/ 数据集官网 456赞,目前为止发现的最高的相关数据集 nutrition facts for McDonald’s : https://www.kaggle.com/mcdonalds/nutrition-facts Calories, fat, and sugar for every cheeseburger, fries, and milkshake on menu 更牛逼的食材分析和菜谱推荐: http://pic2recipe.csail.mit.edu/ 加强版百度API 莫须有数据集 糖尿病 时间-血糖含量关系数据 : https://archive.ics.uci.edu/ml/datasets/diabetes GPA和饮食习惯的关系 : https://www.kaggle.com/borapajo/food-choices 9种体质 //暂定 根据用户的体质来进行推荐菜谱与制定营养计划 —- 两种模式:9体模式和普通健身模式 用户可以随时输入自己当前吃的食物的名字与量 —- 随时记 动态爬虫——http://www.boohee.com/ 每种食材的卡路里等信息(优先kaggle) 卡路里累加器及其可视化、每天个人信息可视化 https://www.xinshipu.com/ 菜谱信息 通过照片提取出食物的卡路里等信息 百度api http://www.zyyssl.com/cookbook.html //中药食材信息、药膳信息、9体、各种病针对的药膳 照片识菜帮 http://www.ttmeishi.com/CaiXi/YaoShan/ //病人对应的食谱 测算http://www.chinacaipu.com/zt/sccs.html 体质算法 11、http://www.chinacaipu.com/menu/jianya/ 特殊人群(压力之类的) 需求分析 登陆、注册 输入基本信息信息(身高、体重、性别、年龄) 额外信息(工作、周均运动时间、睡眠段、九体、病史) 针对没有填写额外信息的用户:选择减肥、增肌、塑形 、保持 可视化(自己的信息和目标标准的比较、根据上述选择改变)每天的量(手环、手机计步器),近几天的曲线 推荐菜谱:两个tab,一个定制菜谱,一个是随机智能推送 单一菜推荐 组合推荐 一周大菜谱推荐(根据每日你自己加的一些信息动态改变) 如果填了额外信息的,就是药膳推荐(一周药膳、周二普通、周三药膳。。。。)(注意可能不想减肥啥的) 百度api->动态录入每顿饭的信息(防抖处理,这里吹牛逼算法,推测吃了多少卡路里),识别后把,动态改变一周定制计划 做菜环节加入识菜帮所有功能,并加入详细食材信息卡路里等 针对特殊人群,混到推荐里推送有利于健康的方法信息(敷黄瓜方法) 特殊病人群体每日相关东西的摄取量的一个限定区间显示 ocr体检单信息录入 针对照片中菜的数量分析吃了多少菜,包含多少卡路里
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值