文章探讨了如何将ChatGPT与计算机视觉技术如YoloV8结合，实现实时视频中的交互，如目标检测和信息搜索。作者设想了ChatGPT在现实生活中的潜在应用，如商品价格比较。同时，文章介绍了计算机视觉研究院的研究方向和技术实践，强调了理论与实践的结合。
点击蓝字 关注我们
关注并星标
从此不迷路
计算机视觉研究院
公众号ID｜计算机视觉研究院
学习群｜扫码在主页获取加入方式
参考地址：https://github.com/ultralytics/ultralytics
计算机视觉研究院专栏
Column of Computer Vision Institute
现在的ChatGPT都是输入文字、图片或者语音，那如果将检测网络或者更上层一点的东西，把视觉与ChatGPT对接，会不会有不一样的火花？
01
简介
ChatGPT（全名:Chat Generative Pre-trained Transformer），是OpenAI研发的聊天机器人程序，于2022年11月30日发布。ChatGPT是人工智能技术驱动的自然语言处理工具，它能够通过理解和学习人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、视频脚本、文案、翻译、代码，写论文等任务。
现在的ChatGPT都是输入文字、图片或者语音，那如果将检测网络或者更上层一点的东西，把视觉与ChatGPT对接，会不会有不一样的火花？
02
尝试与设计
注册OpenAI账号并创建API密钥：首先需要注册OpenAI账号，并在Dashboard中创建API密钥以便后续使用。
安装OpenAIPythonSDK：
可以通过pipinstallopenai命令来安装OpenAIPythonSDK，这样就可以在Python代码中使用ChatGPT进行对话了。
调用API进行对话：可以使用SDK中提供的completions方法来调用API进行对话，需要传入API密钥和输入文本，API会返回生成的回复文本。
集成到应用中：可以将ChatGPT集成到应用中，例如网站或移动应用程序，使用户可以与ChatGPT进行对话。集成方式有很多种，可以根据具体应用场景选择合适的方式。
需要注意的是，ChatGPT是基于大规模的语言模型训练而成的，对话过程中可能会出现一些不准确或不恰当的回复。因此，在实际应用中需要谨慎评估ChatGPT的表现，并根据实际情况进行调整和优化。
YoloV8搭建
下载库——ultralytics
pip install ultralytics运行测试
yolo predict model=yolov8n.pt source='https://ultralytics.com/images/bus.jpg'
接下来就是打通视觉模型和ChatGPT的交流，先看一个例子！首先从网上下载一段视频，然后开始进行Sao操作：
准备好素材就开始表演！
先进入搭建好的系统中，进行启动：
然后就开始进入新的世界了
然后接入视频并启动Yolov8实时检测：
然后这边我对其说：
Lock the area on the right for real-time detection
此时一直在实时检测中：
然后输入有一个屏幕被打开，进行了检测可视化展示：
前面感觉检测的效果不是很好，就重新输入一段指令：
Direct detection of fire extinguishing stages
由于整体检测网络没有怎么优化训练，直接检测，效果不理想，但是与ChatGPT的联动还是有效果，这种有没有联想到流浪地球的MOSE。
这种能力如果全面打开，是不是在现实生活中，实时视频中，和ChatGPT对话，比如看中视频中的一键衣服，是不是GPT就可以自己去网上搜索，给出最优惠价格的链接（GPT帮用户去比价），然后把链接推送给用户。这些都是一种可能，也是GPT真正应该落地的应用。
© THE END
转载请联系本公众号获得授权
计算机视觉研究院学习群等你加入！
ABOUT
计算机视觉研究院
计算机视觉研究院主要涉及深度学习领域，主要致力于目标检测、目标跟踪、图像分割、OCR、模型量化、模型部署等研究方向。研究院每日分享最新的论文算法新框架，提供论文一键下载，并分享实战项目。研究院主要着重”技术研究“和“实践落地”。研究院会针对不同领域分享实践过程，让大家真正体会摆脱理论的真实场景，培养爱动手编程爱动脑思考的习惯！
往期推荐
🔗
Sparse R-CNN：稀疏框架，端到端的目标检测（附源码）
585
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
