观点速递：大模型落地产业，存在什么问题？

智源导读：大规模预训练模型引发了新一轮自然语言的热潮。在本次圆桌会谈上，主持人万小军（北京大学王选计算机研究所研究员论坛主席）和嘉宾李航（字节跳动人工智能实验室总监），何晓冬（京东集团副总裁，AI研究院常务副院长），聂再清（清华大学国强教授，智能产业研究院首席研究员），张家俊（中国科学院自动化研究）共同探讨了如今NLP发展中遇到的各类问题并发表了各自的观点。

整理：沈磊贤

主持人：

万小军 | 北京大学王选计算机研究所研究员论坛主席

嘉宾：

李  航 | 字节跳动，人工智能实验室总监

何晓冬 | 京东集团副总裁，AI研究院常务副院长

聂再清 | 清华大学国强教授，智能产业研究院首席研究员

张家俊 | 中国科学院自动化研究

 

01

观点速递

1、大规模预训练语言模型在实际的产业应用中会存在什么问题？应该怎么完善它？

 

李航认为当前使用Transformer模型处理机器翻译问题，与人工相比还有较大差距，需要提高模型的效率和效果，未来可以研究NLP与多模态的结合，语言、符号、推理三者的结合。何晓冬认为需要将大规模预训练的语言模型和工程实际结合起来，研究特定场景下的可控的超大规模的预训练模型。聂再清同样认为，大规模预训练语言模型能够提升训练数据不充足场景时的模型精度，但是在实际产业应用中还是不能保证结果的可控性。需要在提升模型精度的同时，设计人机交互系统将算法与人有机结合，保证预训练模型在实际产业中的应用场景中的可控性；同时，聂再清也强调了在多模态数据上研究预训练模型。张家俊从学术界的角度出发，认为可以针对已有的预训练模型，研究其内部机制和可解释性。

    

2、相比于工业界，高校的NLP研究应该如何发展？

 

张家俊认为这是现在高校面临的一个很重要的问题。聂再清认为在大规模预训练模型等需要“大力出奇迹”的方向，学术界应该谋求与产业界的合作，借助业界的财力和算力进行合作研究。当然智源这样的模式也可以非常好的让高校参与进来做有影响力的大规模预训练模型。何晓冬认为Transformers和Bert等模型的出现，是工程和实验的成功，但是并没有在理论层面加深对NLP的理解，他以第谷和牛顿对天文学的贡献作类比，指出学术界需要基于工业界的实验与尝试，研究模型的架构与内在机理，在NLP的理论上进行总结和指导。李航认为，学术界需要进行一些长期的基础的研究，比如结合符号、知识和推理研究NLP，这些基础性研究并不需要大规模的计算资源。

 

3、如何改变企业面向论文数量给offer的现象？

 

李航认为对研究能力的评估应该是多维度的，除了论文发表之外，还应该从分析问题的深度、解决问题的能力、学习的能力、对知识的掌握等角度进行考察。何晓冬认为，论文的发表可以体现基本的科研能力，但是不能以数量和CCF排名为唯一的标准，需要透过论文看到工作的深度和工作的影响力。聂再清认为，论文的发表只能给人“第一印象”，表达能力、解决问题能力和研究的内驱动力是面试需要考察的地方。张家俊从导师培养学生的角度指出，当前企业招聘确实存在薪水与文章数量成正比的情况，这样不利于学生针对困难问题进行深入研究。张家俊建议大厂在招聘中，适当增加导师推荐环节，这样可能帮助导师指导学生研究更长久、更深入的问题。

 

02

Q&A

1、目前的模型在模拟人脑融合知识方面有什么进展？

 

何晓冬指出现阶段在融入了知识的语言理解方面并没有重要的突破，但仍然有一些渐进的进展：在理论层面实现了在连续空间中表达知识、计算知识；在应用层面实现了使用连续向量表达知识并生成对话，广泛应用在文本生成、问题系统中。

 

2、博士期间如何规划时间？

 

李航建议首先思考未来十年的目标，然后从自身的特长、兴趣和价值判断出发，选择合适的方向，向着目标脚踏实地进行研究。

 

3、如何让模型学到更多的语义和任务相关特征？

何晓冬认为深度学习往往是基于统计的，学到的观点性部分比较强，倘若想要学到更强的知识，可以从两个方向入手：一是通过因果关系学到更多的非统计知识，二是增加任务的复杂度，驱动模型做更加复杂的学习。

      

4、预训练模型中能否找到一种普适性的语言表达？

 

张家俊指出在多语言翻译的研究中存在类似的研究框架，把多个语言用一种模型encoder做表示，再生成多种语言。但后续研究表明，在不同语言之间做线性转换效果并不好。

 

5、为什么机器翻译的预训练模型会很少？

 

李航认为未来针对多语言的机器翻译，使用预训练模型是一个重要的研究方向。针对数据比较少的小语种，需要结合大语种和小语种的不同数据，设计多语言的预训练模型，在不同语种上都能得到很好的机器翻译效果。

  

6、火山翻译引擎在落地的时候怎么去利用这些视觉信息或者多模态信息呢？

 

李航从人喝水的例子入手，阐释了语言理解的复杂过程。他认为单纯基于语义理解来做翻译非常困难，需要与transformers结合，利用联想辅助多模态信息增强机器翻译性能。

  

7、NLP与电气工程、机械工程等传统工科方向如何结合？

 

李航认为可以将人工智能方法和机械、电气技术结合，应用在机器人控制领域；聂再清指出可以研究在工业图像质检等领域研究多模态的语义问题；何晓冬同样认为机器人和人工智能结合是一个很好的方向。此外，他认为可以将人工智能的感知和决策算法用于辅助机械设计，提高制造系统的仿真水平。

   

8、任务型对话中如何应对知识冷启动的问题？

 

何晓冬认为当前需要重点关注知识库的标准格式和接口，从而尽可能解耦一般性语言理解和特定领域知识的推理与匹配。此外，他还认为如何应对知识冷启动不单是一个算法问题，而是一个多行业多领域共建的问题。

       

9、多轮对话中如何限定对话的轮次来明确用户的意图？

 

何晓冬认为实际系统实现总有很多方式，比如可以采用智能反问和猜你想问的方式引导用户清晰化表述其问题和意图，其次可以通过人机协作的方式，比如如果在对话过程中识别到情绪升级或者知识超出系统范围，则将对话转给人工解决。

---