多模态大模型下，跨境电商下一个风口在哪？

“多模态大模型技术的发展，令诸多领域的创业门槛成本骤降。”

2023年8月14日、15日，由GAIR研究院、雷峰网、世界科技出版社、科特勒咨询集团联合主办的第七届GAIR全球人工智能与机器人大会，在新加坡乌节大酒店拉开帷幕。

聚焦大模型技术爆炸时代，在多模态与跨境电商论坛上，雷峰网邀请到新加坡南洋理工大学协理副校长、新加坡工程院院士文勇刚教授，Meta人工智能研究专家曹晟、人工智能专家张伟、Mamentum Works 创始人兼首席执行官李江玕等。

在论坛现场，数位嘉宾从学术、产业、技术等方面，对出海、跨境电商赛道进行了拆解重构，就大模型技术如何落地的可能性与方式，展开了深入探讨。

01

南洋理工大学协理副校长、新加坡工程院院士、红点数智科技（新加坡）首席科学家 文勇刚：

AI and Digital Infrastructure for a Sustainable Future:A Tale of Twin Transition（可持续未来的人工智能和数字基础设施：双重转型）

文勇刚

过去的十年里，文勇刚的主要的科研方向之一是绿色数据中心研究。

期间他不断在思考，10 年、 15 年之后，数据中心应该发展成什么样子，到底该怎样去驱动？随着 AIGC 和大模型的出现，算力平台未来能耗趋势将为怎样？

就此文勇刚提出一个观点，数字化转型和可持续发展的双轮驱动。

具体来看，一方面，目前越来越多诸如跨境电商等行业带来数字经济的发展，日益增长的算力需求（尤其是AI的发展），数字经济耗电量飞速增长，带来可持续发展的挑战；另一方面，由于数字经济的发展以及数字化转型，也将可持续性发展带来新的契机。

文勇刚认为，真正的愿景是双驱动后，AI、数据和各种生产活动形成共赢态势。

首先，数字经济（尤其是AI技术）的发展，最大的挑战是带来很大的能耗。

数据中心就是一个大机房，耗电量巨大。某研究表明，到 2030 年数据中心将占到全球总耗电量的8%。例如新加坡，预计到 2030 年，其数据中心将占到总耗电量的12%。因此2019年开始，新加坡政府暂停新的数据中心牌照的发放，直到今年（2023）才逐渐恢复。

AI技术的发展带来很高的能源消耗，对此需要找更多绿色能源。例如氢能驱动的数据中心的方案，将储能和数据中心结合在一起，类似于能源一体的解决方案等。

也就是未来十几年后，尽管数据中心的建设带来能耗增加，也能带来可持续发展。

其次，文勇刚表示，AI作为高效工具，同样可以帮其他行业解决可持续发展的挑战问题。

例如在工业领域，利用AI手段去优化物理操作系统，提高能源效率、降低碳排放量。可以应用的场景为办公室、数据中心、工厂、发电厂等。

为了降低损失，可以将数字孪生技术应用在实验环节。比如通过数字孪生技术去解决数据中心。具体来看，将数字孪生作为验证平台，AI 对它进行管理和优化，然后再去用到物理环境。通过这套算法去分析优化，进而验证。

举个案例，如果将机房的温度从17度调成22度，可以很大程度减少能耗。但是，一旦认为AI是黑匣子解决方案，运营人员出于风险考虑，不会采纳人工智能的推荐，那就很难进一步操作。而利用数字孪生去验证，就不会对数据中心产生影响了。

数字孪生技术也大幅度降低能耗问题。例如某新加坡数据中心，大概有1.18兆瓦的规模。利用数字孪生技术去设计验证，仅在设计阶段可以降低成本大约20倍，减少碳排放量3500倍。运营阶段降低10%的PUE，减少大约2000吨碳排放量。这仅仅是一个小数据中心的优化空间。

关于如何做好某个AI的项目落地，文勇刚认为有五大关键要素：

1、计算力平台（Platform）。

2、科技人才(Reseacher)。

3、算法(Algorithm)。

4、数据（Data)。

5、应用场景(Application)。

用这五个方向的首字母，可以看成“穿PRADA”的人工智能。

那么跨境电商属于数字企业重点的部分，基于IT和AI的发展对数字经济GDP的影响， 主要有以下几个观点：

1、每花费1美元，可以带来15美元的数字经济产出，和29美元的GDP产出。

对比其他行业一块钱撬动8-9元，IT可以撬动29元，差距近4倍。

2、某机构通过研究大约15 个国家算力投入的研究，发现计算能力指数每增加1%，具体的经济增长是3.3‰，由此产生的GDP增长是1.8‰。

在数字化转型和 AI 时代，每一块钱的投入或每一个 百分比的增长，对数字经济以及GDP的增长都带来很大的想象空间。

总结来看，数字化可持续性发展是把双刃剑，一方面带来挑战，另一方面促进各行各业的发展。

那么利弊交互过程中，要思考怎样才能让利益超过成本，以及要判断是否值得去做这些投入。

02

Meta人工智能研究专家 曹晟：

Advertising Strategy in the New AI Era（关于新人工智能时代的广告策略）

在Generative AI时代，一个模型可以拥有多模态的特征。这些模型可以做更通用、更重要的任务，且大多数是无监督或自监督学习。

传统的模型框架之下，算法对多媒体信息，缺乏最深刻的理解能力。但是，现在的多模态大模型，则可以通过 Cross Attention (注意力机制)和Content Understanding(内容理解）的方式，让文字、图片，以及视频，align到同一个 Latent space上，从而计算不同样本间的关联性/相似系。

曹晟

人工智能研究专家曹晟认为，未来的广告预测模型，可以将用户新创建的广告的多媒体形态转成同一空间（latent space）下的embedding vector，根据自身的多媒体形态，找到过去或者相近形态的样本点，由此提高广告转化率预测的精准度。这是利好广告商的。毕竟，广告商不再需要浪费预算，去等待平台收集用户对于广告反馈的过程。

在整个广告投放的过程中，广告商的问题在于，它只有粗颗粒度的用户画像。而社交媒体拥有实时和详尽的用户反馈信息。未来，在与Generative AI相关的延迟问题，以及硬件问题，得到进一步提升解决后，广告平台就可以实时生成广告信息。广告商也不再需要为创建广告素材而烦恼，这其实也帮助广告平台，优化了广告商诉求。更重要的是，广告流程中的经济浪费，直接被降到了最低。

展望未来，整个广告推送系统，也可以逐渐从一个静态的系统，转变为一个实时的、不需要排序和召回的系统。电商和广告也将被结合的更好，而不再是两个各自独立、互不关联的系统，比如实时生成最优化购买率的产品广告和购买链接。

03

人工智能专家 张伟：多模态大模型与电商应用

张伟

大会上，张伟分享了大数据体系构建过程，包括ODS，DWD，DWS，ADS的数据建设思路。基于海量的数据，构建多模态大模型作为AI工作的基础。基于多模态预训练模型，加少量数据，模型可以解决对比任务、分类任务、检索任务和生成任务等。具体到特定的应用场景还可以再继续训练模型。解决数据标注以及每个任务都从底层训练模型的挑战。张伟还分享了基于多模态大模型生产任务的应用，包括文本，图像内容的智能创作，人工运营的智能辅助工作。

04

圆桌论坛

在演讲过后的圆桌论坛环节，李江玕作为主持人，曹晟、张伟以及腾讯海外游戏算法中心主任郎君，共同讨论了当下备受关注的热门话题，包括ChatGPT问世后各自的心路历程、基于大模型的机会等。

按从左到右排序：李江玕、曹晟、张伟、郎君

李江玕回忆起从去年11月ChatGPT问世****后的心路历程，几位嘉宾颇有感触。

ChatGPT问世之时，曹晟处于观望的状态。当时他觉得这个技术离自己比较远，而且它是聊天的语言模型，跟Meta做的视频、音频等技术关系不大。但是过了两个月之后ChatGPT开始火爆，一下子就把大家的视野全部打开了。曹晟就开始深入其中，把Meta能够服务的ToB、ToC客户全部扫了一遍，并对标了一遍Meta能做什么，再快速地在某些方向试错。他们试错的时间只有3个月，能做就做下去，做不了就要撤，最后Meta确实摸索出了一些路线，比如视频的自动生成、游戏文案的自动生成、大规模的情报分析等。

张伟则有不同的感触，他是做自然语言处理的，读博也是读自然语言处理相关专业，但ChatGPT出来后，他感觉到以前学的内容都被颠覆了。而如果直接把ChatGPT用到业务场景中，模型的精度可能还达不到业务需求。所以除了做类似ChatGPT的大模型基础服务外，把大模型迭代到各个应用场景中也还有很多工作。

郎君一开始对ChatGPT的涌现能力和AGI能力也感到非常震惊，并请教了很多身边的大佬，当时大家都觉得这是几十年一遇的机会。而后来大家在实际的研发中，会发现很难在短时间内实现产品化、商业化落地，尤其是无法保证ToB方向、对安全性要求很高的产品落地。

郎君认为，虽然大模型的能力非常强，但很多时候卡脖子并不在这上面，或者说还有很多绕过模型本身的方法，能更好的提升产品应用的ROI。大家可以关注一下未来几个月内初创公司基于拿大模型做的一些产品应用，因为他们现在被赋予了整个模型可以创新的一个能力。初创公司非常能拼搏一些新的idea，他们可以更好地找到瓶颈的地方到底在哪里，这些信息我们就可以反馈到整个financial model的搭建，或者说基于financial model的商业化思考。

李江玕提及当下基于大模型的机会，几位嘉宾众说纷纭。

李江玕

张伟思考了两条路，第一条路是在学术界中沿着这个方向做一些基础的研究，跟政府或者是国内的一些高校合作做一些更前端的研究，类似跟机器人的结合等。第二条路是创业，基于ChatGPT做一些应用，比如数字人，这个方向有挑战，但发展得好也是一条新的商业赛道。

曹晟觉得创业还是很有机会的，在AIGC领域创业，这波还是会有很多做法。现在ChatGPT已经开放了，大家用起来也很方便，也有很多的API接入技术可以去使用，创业成本门槛已经比以前低了很多。关键是要么从需求出发延伸性地做创新，要么就是从这个应用上继续加一块砖也能产生巨大商业价值。

郎君表示，企业的周期越来越短，大家可以去接受这个事实，也不用去焦虑。首先有很多机会，同时也有很多竞争对手，第三有很多是可以被颠覆，第四要看你自己也可以颠覆的东西。郎君觉得，大家只要结合这种模式，都是有机会的。

圆桌结尾，李江玕发表了总结感言，这个行业还是有很多的可能性的。李江玕还特别提到，很多行业从业者讨论直播电商方面的人员投入很大，尤其是东南亚的人员效率跟中国比是有差距的，所以数字人最近在东南亚市场受到很多人的关注和讨论。

05

结语

至此，第七届GAIR全球人工智能与机器人大会全部日程圆满结束。多模态大模型背景下的跨境电商故事，还将继续。

回顾8月14日-15日，一群时代的英雄、探险者们，齐聚第七届GAIR全球人工智能与机器人大会，为全球的科技人带来百舸争流般的思想碰撞。

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！

💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉国内企业大模型落地应用案例👈

💥《中国大模型落地应用案例集》 收录了52个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）

💥《2024大模型行业应用十大典范案例集》 汇集了文化、医药、IT、钢铁、航空、企业服务等行业在大模型应用领域的典范案例。

👉LLM大模型学习视频👈

💥观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。 （文末领取）

👉640份大模型行业报告👈

💥包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉获取方式：

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓