【个人报告】大模型赋能推荐系统，我们在计算之中？

Mercury Random

已于 2023-11-08 00:05:13 修改

阅读量211

点赞数 7

文章标签：深度学习推荐算法语言模型人工智能

于 2023-11-07 23:55:03 首次发布

本文链接：https://blog.csdn.net/ggh_567/article/details/134278287

版权

#CNCC20223 #圆桌论坛

（B站上有报告回放http://BV1Fj411Y7KG）

前期铺垫

/***前期工作***/

/***会议笔记***/

我的报告

（非完全严肃）

大模型赋能推荐系统，我们在计算之中？

     本次报告就CNCC2023大会众多课题之一《大模型赋能推荐系统：机遇和挑战》重点展开讨论。该课题的圆桌讨论大致分为三个部分：机遇、挑战以及对未来的展望。大模型赋能推荐系统，我们在计算之中？
        大模型赋能推荐系统是指利用深度学习中的大规模训练模型来改进推荐系统的性能和效果，其通过引入NLP、CV、VLT等技术，基于一定LLM底座，结合现有的推荐系统不断衍生并不断发展。大模型赋能操作系统的优势在于其能更好的semantic用户信息，基于撇弃RNN架构的transformer能更好的联系上下文信息从而与用户comment sense，优良个性化推荐，提高了promoting质量。并且其机械学习（主要是深度学习）的能力能学习到的通用的语义表示，提高了推荐系统的跨域推荐能力，大基数的token（s）使推荐系统的语义和知识更加丰富，提高推荐系统的可解释性，增强用户对推荐系统的信任。同时，该圆桌讨论不仅基于一般服务软件的大模型赋能推荐系统方面进行改进，还展开了对于网页推荐的个性化畅想，提高各个方向click-though。同时，逆向来看，CRT也从一定方面代表着推荐系统的完备程度。从以上方面来看，大模型赋能推荐系统在当今有着很大的前景和应用价值。
        畅想终究是美好的，面对现实成本的巨大开销，大模型赋能推荐系统的应用实际上难以落地。这需要实际考量和确保训练数据的质量和多样性以提高推荐性能，并需要我们去思考如何在有限的计算资源下降低大模型的训练和推理时间。而这又与工业界的发展相互牵连，需要时代推动it与ot紧密相连，同时，复杂的指令拆解和一定的训练量，才能更好的去激发高质量的FFT数据。总的来说，大模型赋能操作系统成本的提出无可厚非。
        此外，目前的商业模式也会对agent形态的对话系统产生一定的阻碍。一些大公司在推荐系统方面采用的大多是传统的Q&A，在一定基数的用户群体养成之后，他们可能很难再想额外花费时和金钱成本在操作系统方向做一个新的突破。并且，在类agent的对话系统中，用户会或多或少在交互过程涉及到个人的隐私问题，但推荐系统研究需要LLM、需要考虑数据集的问题、需要上云或是端侧闭环，这又与个人的隐私产生了一定冲突，我们需要去进一步研究其中的差分隐私和脱敏的技术问题，并且确保公布之后不会被逆向工程等等。这其中还有许多细节需要我们更深入的去思考。
然而，以上问题还不是本次圆桌论坛核心，本次讨论的最关心的问题还是 user ID 和 item ID 与大语言模型的相互结合，以及对ID进行建模从而为特定用户更好地设计和实现相关功能。
        为什么要对ID进行建模？众所周知，ID没有semantic信息。在传统的ID建模中，身份通常只被看作是一个标识符，而在现代的软件系统中，我们通常需要更多的信息来描述一个身份，以便更好地理解其角色和职责。所以，我们需要对ID进行语义建模。通过引入语义信息，我们可以将更多的含义和上下文与身份相关联，从而更准确地表示身份之间的关系。例如，一个人员身份可以具有姓名、职位、所属部门等属性，这些属性本身就具有语义信息。同时，我们还可以定义角色、权限等概念，并将其与身份进行关联，进一步丰富身份的语义。尽管传统的ID建模可能缺乏显式的语义信息，但通过引入语义建模，我们将能拥有更准确的身份描述，更灵活的身份关系，更好的可理解性和可维护性的ID模型。但光有ID建模就够了吗（ID建模实际上是个有待商榷的问题，并不是在任何时候对ID建模都会产生积极形象，从网络结构、模型加速器等方面，动模态和ID建模实际上难以融合）？
        不，这远远不够。
        不够在这只能针对用户现有的信息圈子里去promoting新的信息事物；不够在只能局限在当下的时间里针对固有的事物不断地推陈出“新”，不能随着不同时间的维度，针对个人平常状态下的时间变化提出真正适合个人未定式的命题。不流动的水是死的。那么，我们应该怎么让水流动呢？现有的答案是：RHF（Random Hessian Free）。
RHF相较于semantic ID建模的准确虽然存在诸多不确定因素，也存在这很多风险，但不可否认，RHF的随机性和想象力或许会在万分之一甚至亿分之一中投标中未来的某个预命题，也许这样的不可预知性可能会提高人们的期待性，也许这Random的命题在未来的某一天也会stable diffusion，一夜之间成为大众之间津津乐道或是广为流传的新命题，当然，这一切也都是Random的。以上也只是基于美好的幻想。现实情况的RHF想要实现起来更为复杂，我们很难去formulate，难以找到合适的推荐数据，模型也很难陈出。总而言之，这是一个很复杂的query，但或许在未来我们也能通过大模型去应对，在随机中也有答案。
        延伸以上内容的讨论，我们还能怎么样更好的使大模型赋能推荐系统？
        在这次圆桌讨论中，有位教授提到了neurological reasoning，将推理逻辑引入神经网络。这样同样也能将大模型赋能个性化推荐，同时又绕开了user ID和item ID，换一种新的思路解决了问题。抛开计算机最基础的数学功底这项技能，认知科学、心理学、设计学、脑科学（脑电信号分析）、神经科学、物理学、社会学、以及上述提到的逻辑学等等，何尝不能为计算机领域添砖加瓦。跳出自己固有的圈子，学科交叉，本就是知识的百纳海川，这是真正的活水。
其实，大模型赋能推荐系统已经悄无声息的出现在我们身边，华为的语音助手小e正是搭载着盘古大模型的，作为一款plug-in服务着mate60的用户（此处应有“遥遥领先”）。我们处于冷启动下的离线计算及对于list wise的离线排版同时也是LLM用于推荐模型的产物。相信在未来这样的例子会更多且更丰富饱满。
        在文章的最后，我还想补充一点。大模型赋能推荐系统是值得我们去不断深入思考，不断研究讨论的时代命题，在现阶段推荐系统与我们的生活难以分离，并且推荐系统将会拥有我们难以估计的时代寿命。我们身处于计算之中，但我们不能身处于算计之中（或许在看到这里之后去刷视频、看推送，会不会有一种被算计了的感觉）。RHF固然有趣，但其中的Random不应该是计算所带给我们的，而是应该从我们自己的生活中去发现的。或许在未来某天，当Random不再是Random，当一切事物运行的轨迹被准确计算出来之后，想象力和未知或许将会成为我们真正的奢望。