多模态大模型GLM-4V-Flash，免费了！

最新推荐文章于 2025-02-21 22:29:10 发布

AI大模型入门教程

最新推荐文章于 2025-02-21 22:29:10 发布

阅读量986

点赞数 4

文章标签：人工智能学习机器学习 microsoft 百度

本文链接：https://blog.csdn.net/Everly_/article/details/144713677

版权

最近和智谱的哥们聊天，讨论到最近的一些大模型进展，包括o3等。跟哥们感叹说，现在搞大模型真是一个好时代，以前要做很多链路环节的技术架构，全部简化，直接利用大模型本身能力就好，多快好省的去做一些场景的落地。

我说，确实是这样的，现在各家文本大模型基本都有免费版本了，要是多模态理解大模型也能有免部署的免费版本就好了。

哥们说，你这找对人了，我们的GLM-4V-Flash前几天免费了，你去bigmodel里申请一个就好。

有了可以免费用的多模态理解大模型，做一个拍照识别热量的健康管理工具，那简直不要太简单，简单到只需要写几行提示词就可以。

之前我做了一个给自己用的卡路里计算器，拍照就能识别计算热量，给出健康建议，要是有免费的多模态理解大模型，就可以开源出来给更多人用了。

比如用这个提示词: 你是一个健康管理助手，可以根据用户上传的图片，给出可能的配料和估算对应的热量值，并结合用户的身高和体重情况，计算出BMI值，给出对应的饮食和健康建议。

要知道，在过去做一个这样的助手，成本特别高，我估算一下: 1.搜集实物图片和热量值标注; 2.找一个图片理解的backbone进行微调;3.设计对话的流程，做意图识别，抽槽;4.开发一个对话管理模块。5.找云平台部署自己搞了一个月的代码。

以前一个三头六臂全栈工程师一个月的工作量，在大模型时代，只需要一个不会写代码的产品经理，花1分钟搞定提示词。

下面用4v可以这样使用，先安装api调用需要依赖的库。

!pip install zhipuai

如果看到如下信息就安装成功了。

Successfully installed annotated-types-0.7.0 cachetools-5.5.0 pydantic-2.10.4 pydantic-core-2.27.2 typing-extensions-4.12.2 zhipuai-2.1.5.20241204

接下来是API获取接下来需要获取模型的开放API，前往https://www.bigmodel.cn/usercenter/proj-mgmt/apikeys注册后，点击个人中心-项目管理 API keys-新建API-复制您的新API。

对话流程如下，核心是编写好的提示词；

import base64   from zhipuai import ZhipuAI   client = ZhipuAI(api_key="XXXX") # 填写您自己的APIKey   response = client.chat.completions.create(       model="glm-4v-flash",       messages=[           {               "role": "user",               "content": [                   {                       "type": "text",                       "text": "你是一个健康管理助手，可以根据用户上传的图片，给出可能的配料和估算对应的热量值，并结合用户的身高和体重情况，计算出BMI值，给出对应的饮食和健康建议。"                   },                   {                       "type": "image_url",                       "image_url": {                           "url": "https://files.mdnice.com/user/47494/44d32f14-ab83-4a0b-ae4a-31ab9e1fdbf4.png"                       }                   }               ]           }       ]   )

我们准备好上传的图片在链接所示：

静待几秒中，得到回复内容如下：

一个典型的芝士汉堡（如图片所示）可能包含以下成分及其大致热量：   - 面包：约150-200千卡   - 肉饼：约300-500千卡   - 奶酪：约100-200千卡   - 洋葱圈：约50-100千卡   - 番茄片：约20-30千卡   - 生菜叶：几乎不含热量   - 烤肉酱或其他调料：约10-50千卡      总计大约在700-900千卡左右。请注意，这些数字仅供参考，实际的热量可能会因食材的品牌、制作方法等因素而有所不同。

看这效果还不错，当然，整个过程是多轮的，可以继续进一步沟通。比如给他身高和体重，进一步追问建议。他甚至可以把BMI给算对！

import base64   from zhipuai import ZhipuAI   client = ZhipuAI(api_key="XXXX") # 填写您自己的APIKey   response = client.chat.completions.create(       model="glm-4v-flash",  # 填写需要调用的模型名称       messages=[          {           "role": "user",           "content": [             {               "type": "text",               "text": "你是一个健康管理助手，可以根据用户上传的图片，给出可能的配料和估算对应的热量值，并结合用户的身高和体重情况，计算出BMI值，给出对应的饮食和健康建议。"             },             {               "type": "image_url",               "image_url": {                   "url" : "https://files.mdnice.com/user/47494/44d32f14-ab83-4a0b-ae4a-31ab9e1fdbf4.png"               }             }           ]         },         {             "content": [                 {                     "text": '一个典型的芝士汉堡（如图片所示）可能包含以下成分及其大致热量：\n\n- 面包：约150-200千卡\n- 肉饼：约300-500千卡\n- 奶酪：约100-200千卡\n- 洋葱圈：约50-100千卡\n- 番茄片：约20-30千卡\n- 生菜叶：几乎不含热量\n- 烤肉酱或其他调料：约10-50千卡\n\n总计大约在700-900千卡左右。请注意，这些数字仅供参考，实际的热量可能会因食材的品牌、制作方法等因素而有所不同。',                     "type": "text"                 }             ],             "role": "assistant"         },         {             "content": [                 {                     "text": "我现在身高175cm，体重85kg，请计算我的BMI指数，并告诉我减脂期间适合吃图中的食物吗？",                     "type": "text"                 }             ],             "role": "user"         },       ]      )   print(response.choices[0].message.content)

模型的回答如下所示：

你的 BMI 约为 27.78，属于超重范围。      在减脂期，适当控制热量摄入是非常重要的，而汉堡通常热量较高且可能含有较多的脂肪和糖分。因此，在减脂期间，建议限制汉堡的摄入。       **好的替换食物：**   1. **鸡胸肉沙拉**：低脂肪、高蛋白，且富含纤维。   2. **全麦三明治**：可以用全麦面包、瘦肉和蔬菜制成。   3. **瘦牛肉或火鸡肉**：制作成低脂的汉堡，搭配大量蔬菜。   4. **豆腐或素食汉堡**：低热量、高蛋白，适合减脂期间。   5. **蔬菜汤**：低热量的同时能增加饱腹感。      选择这些替代食物可以帮助你在减脂期间更好地控制卡路里摄入，同时保持营养均衡。

这是一个特别简单的应用场景，更多的过往特别高成本的场景，只要你有想象力，都可以用非常低的成本搞出来。

往大了说，比如撑起一个公司的核心产品，拍照解题。往小了说，出国旅游直接拍下菜单，让他翻译好，并给出点菜建议。还有各种花草识别软件，珍惜动物识别软件等等，以前的任何一个场景，都能做成一个小程序，撑起一个小创业公司的核心业务。大模型时代，产品研发的能力都被延伸了，而这些过往产品经理只需要一个程序员的场景，变成了产品经理动手写几行提示词。

比如出国旅游碰到上面这样一个菜单，可以问问GLM-4V-Flash都是些啥菜，并且给你推荐一道。

import base64   from zhipuai import ZhipuAI   client = ZhipuAI(api_key="XXXX") # 填写您自己的APIKey   response = client.chat.completions.create(       model="glm-4v-flash",       messages=[           {               "role": "user",               "content": [                   {                       "type": "text",                       "text": "你是一个针对中国人的出国旅游助手，可以帮助用户翻译菜单，给出菜品推荐，下面是一张用户上传的菜单："                   },                   {                       "type": "image_url",                       "image_url": {                           "url": "https://files.mdnice.com/user/47494/c7ea255d-139f-49a9-b6f0-331da972152b.jpeg"                       }                   }               ]           }       ]   )

这时候我们得到的结果为：

您提供的菜单翻译如下：      **品味菜单**   1. 新西兰龙虾刺身      - 配鱼子酱、柑橘酱和海胆   2. 法国鲁伽鸭胸肉      - 微烤，配苹果和迷迭香酱以及西西里皮革蜂蜜   3. 意大利饺子      - 鲜煮、五花肉、水牛奶油和黄油干酪   4. 牛肋排和牛里脊      - 配红酒和李子酱，以及土豆泥      **推荐菜品**：     可以尝试“法国鲁伽鸭胸肉”，因其搭配了独特的酱汁和蜂蜜，风味丰富。

这样的例子还有很多很多，最终形成了AI辅助轻量化应用落地的浪潮，在这里面，国产多模态大模型GLM-4V-Flash，做出了不小的贡献。背后是智谱开放平台（bigmodel.cn）新上线的视觉理解模型，可以理解图片中的语义并做出对应合理的文字输出。模型的能力范围包含图像描述生成、图像分类、视觉推理、视觉问答、图像情感分析等。

用一句话总结就是免费、好用的图片多模态理解模型，这波GLM-4V-Flash免费了，造福无数小团队和个人创业者，绝对要点个赞！