大模型上层应用本质上是一个能力整合的过程_大模型上层应用强相关-CSDN博客

本文链接：https://blog.csdn.net/m0_59164304/article/details/143999334

“技术的应用并不是一个孤岛，而是一个能力整合和串联的过程”

很多人喜欢把大模型当做一个独立的技术和应用，事实上各种应用场景是一个能力整合的过程，而不是独立的技术孤岛。

思考一个问题，你知道网络上一些由AI合成的视频是怎么生成的吗？它的背后隐藏着那些能力？

大模型构建上层应用

以网上爆火的AI视频类为例，一个AI视频使用到了哪些技术？

首先，视频生成和处理的能力；其次，语音合成能力；再者，音画同步的能力；最后，文字与语音转换的能力等等。

比如说，要想做一个林黛玉大战孙悟空，却导致镇关西失街亭，最后导致刘备官渡之战大败而归的视频；并配上文字和语音解说。

这样的视频应该怎么做？

首先，需要利用AI 视频工具生成以上四个部分；孙悟空大战林黛玉，镇关西失街亭，官渡大战；然后自己或使用自然语言处理工具做出解说文字；最后再用TTS或剪辑工具配上某个人的语音；这样才算完成了一个基础的视频剪辑功能。

而这也是自媒体界常说的脚本，第一步该干啥，第二步该干啥等等。

而从大模型的应用角度来说，这个功能就属于AIGC的功能；那如果从技术的角度来说，是否能够利用编程技术整合多个大模型的能力，使得以上功能只需要输入一些prompt就可以完成？

从理论上来说，这种想法是可行的；而需要的是什么？

其实需要的就是一个类似于导演和编剧的角色，而这个角色可以通过什么来实现？

以上功能可以通过Agent来实现，使用一个具备逻辑推理能力的大模型作为大脑，来指挥其它模型和调用多种工具完成以上功能。

可能每一个模型和工具的能力都不是很强，但通过一个中央大脑的整合，就可以让这些简单的工具变得强大无比；而这就是能力整合的能力。

AI技术发展了几十年，虽然很多人认为它好像没什么用；但不得不承认的是，AI可以让一个什么都不懂的人也可以做一名剪辑师。

比如说，第一步利用文生图生成多张图片，然后再利用图生视频的能力，生成一段视频；然后再用自然语言处理模型生成一段文字，最后通过剪辑工具或其它AI工具把视频，文字整合到一起并配上语音旁白；这样一个漂亮的视频剪辑成果就出来了。

而在此之前，一个人要想学视频剪辑，既要需要摄影摄像，拍照剪辑，还要学会各种构图的方式以及各种拍摄和剪辑工具的使用；为了增加视频的质量还需要绞尽脑汁地写文案，找专业声优配音等。

而这些现在都可以通过AI来解决，大大降低了人的学习和使用成本，提升生产效率。

还有一些人使用类似于豆包等AI工具，调配多种AI和其它工具，整合成一个私人助手，更有甚者，有人利用AI助手开起了一个人的公司。

这都是AI技术的应用，也是一种能力整合的能力。

大模型技术虽然发展的如火如荼，但大模型的应用严格来说还处于一个不断摸索的过程；只要你敢想敢尝试，那么就有无限的可能。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述