疫不容迟,值得关注的十大技术趋势(下)

在这里插入图片描述
2019 年,由于预训练模型 BERT 以及 GPT 2.0 的发展,深度迁移学习成为 AI 领域的热门词汇。准确地说,预训练模型是自然语言处理领域新的 baseline,如果要在完全不依赖 BERT 的基础上,提出一个与 BERT 效果相当或者更好的新模型,目前来看可能性非常低。

业界大部分 NLP 成果均是基于 BERT 的各种改进或者在对应业务场景上进行应用的,而且 BERT 的改进方向比较多,已经出现各种可用的变种 。目前XLNet、RoBERTa 等各种 BERT 的改进预训练模型,虽然是通过增加预训练的数据进一步提升效果,但除了增加数据,还做了许多模型方面的优化,这些突破都不是仅仅依靠堆数据就能带来的成果。

2020 年,深度迁移学习将基于预训练模型有更多改进,比如对性能要求较高的场景需要对模型做一些改进和方案上的优化,双向语言模型有可能出现训练和预测不一致的现象,以及在长文本处理、文本生成任务上的不足。

同样值得期待的是,该领域未来可能会出现更加轻量级的在线服务模型。拓展到自然语言处理领域,除了不断提升预训练模型的效果,未来如何更好地与领域的知识图谱融合,弥补预训练模型中知识的不足,也是新的技术突破方向。

在这里插入图片描述

图神经网络(GNN,Graph Neural Networks)是 2019 年 AI 领域最热门的话题之一。虽然深度学习目前已经在诸多领域拥有了显著的应用成果,但因果推理和可解释性仍是短板,这几年学术界和工业界都在探索新的方向。图神经网络是用于图结构数据的深度学习架构,将端到端学习与归纳推理相结合,业界普遍认为其有望解决深度学习无法处理的因果推理、可解释性等一系列瓶颈问题,是未来 3 到 5 年的值得关注的重点方向。

展望 2020 年,最可以确定的一点是:GNN 依然会保持如今快速发展的态势。从理论研究上看,不断解构 GNN 相关的原理、特色与不足,进而提出相应改进与拓展,是非常值得关注的部分,如动态图、时序图、异构图等。

另外一直以来研究 GNN 所用的标准数据集,如 Cora、PubMed,相对来说场景单一、异构性不足,难以对复杂的 GNN 模型进行准确评价。针对这一问题,近期斯坦福大学等开源的 OGB 标准数据集有望大大改善这个现状。在新的评价体系下,哪些工作能够脱颖而出?值得期待。

从应用上看,除了在视觉推理、点云学习、关系推理、科研、知识图谱、推荐、反欺诈等领域有广泛应用外,在其他诸如交通流量预测、医疗影像、组合优化等场景下,也出现了一些 GNN 相关工作。

在这其中,如何准确有效地将图数据与 GNN 二者有机结合到相关场景,是应用上需要着重考虑的。相信 2020 年,会出现更多这样的工作来拓展 GNN 的应用边界。此外,GNN 要真正在工业界大规模落地,底层系统架构方面仍需做大量工作。业界期待着一个更为开放、高性能,且支持超大规模分布式图网络计算的主流平台的出现。

在这里插入图片描述

作为认知智能领域核心技术之一,目前知识图谱已运用到语音助手、聊天机器人、智能问答等热门的人工智能应用场景中,并覆盖泛互联网、金融、政务、医疗等众多领域。

尽管发展火爆,但现在知识图谱在构建和落地过程中还面临着诸多挑战:首先对人工构建的依赖度还较高,仍然缺乏从大规模数据里获取的手段;其次知识图谱的构建技术成本很高。为解决上述问题,目前有很多公司都在做一些自动化构建知识图谱的探索工作,如明略科技开发了自动图谱构建工具,将一些中间构建过程自动化;腾讯正在基于聚类算法和强化学习结合的模式开发 schema 自动构建和根据反馈调整知识图谱的能力…

2019 年知识图谱构建技术已经从过去的完全人工编辑,进化到了场景化定制 NLP 知识抽取配合人工模板和审核的模式,正在经历人工构建 - 群体构建 - 自动构建这样的技术路线。自动化构建知识图谱的特点是面向互联网的大规模、开放、异构环境,利用机器学习技术和信息抽取技术自动获取互联网信息。

2020 年,我们可以预见的是:大规模知识图谱的自动化、高质量构建将成为重要的发展趋势。具体来看,知识图谱的 schema 自动构建和图表示推理将成为关注的重点;随着知识图谱在各个行业的深入落地,会有更多面向领域知识图谱的自动化构建方案涌现出来,比如智能医疗、智能金融等相关知识图谱及推理应用建设,随着 5G 的到来,5G 知识图谱的构建也值得我们期待。

在这里插入图片描述

2019 年,区块链技术迎来了两支“强心剂”,一支是以 Facebook Libra 为代表的稳定币技术,另一支是中共中央政治局集体学习区块链技术,国家最高领导人对区块链技术给予高度肯定。

在过去一年中,各大主要分布式账本技术(DLT)、各大公司的联盟技术团队都做出了不少改进,已经显著增加了相关方案解决实际问题的潜力。技术的相对成熟,让区块链能在未来的一年里结合企业业务得到落地发展。

区块链未来主要有两点值得关注:一是区块链之间的互操作性,2020 年我们很可能会看到更多区块链系统的相互融合,跨链技术也有望进一步突破;二是稳定币支付技术。支付是区块链的看家本领,稳定币避免了其他类型数字货币币值不稳、剧烈波动的弊端,从而使数字货币能够真正应用于日常支付等业务场景中。

同时,在 Facebook Libra 的影响下,各国央行数字货币之间的竞争加剧,尤其我国的央行数字货币已是“呼之欲出”,未来国际金融体系势必会发生大变革。全球各国政府都比较重视这块儿的发展,相信在未来会掀起稳定币的热潮。

文章参考用友研究院用友开发者大赛YonBuider开发中心资料

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值