点击上方,选择星标或置顶,每天给你送干货!
阅读大概需要3分钟
跟随小博主,每天进步一丢丢
欢送师兄师姐毕业
任务介绍
我们做的实验为Task1的closed任务
任务设置
任务描述: 输入一个自然语句,依存句法分析任务的目标是预测最优的依存句法树,如
图 1 所示。本评测包含 4 个子任务:
子任务一 (un-closed):无监督领域移植(封闭)
子任务二 (semi-closed):半监督领域移植(封闭)
子任务三 (un-open):无监督领域移植(开放)
子任务四 (semi-open):半监督领域移植(开放)
含义如下:
无监督领域移植:不能使用对应目标领域的训练数据。例如,当目标领域为 PC 时,那么无监督领域移植场景下, PC-Train 不存在,但是 PC-Dev/unlabeled 是可以使用的。
半监督领域移植:可以使用目标领域的训练数据。例如,当目标领域为 PC 时,那么半监督领域移植场景下, PC-Train/Dev/Unlabeled 都可以使用。
Closed 的限制:
只能使用我们提供的数据和信息,包括:所有数据我们都提供分词、自动词性;我们会提供 pre-trained word embedding (在 Chinese Gigaword 3 和无标注数据上训练 word2vec 得到)。
不可以使用其他开源工具得到新的信息,如词性、词义等特征。
不可以使用其他的资源,如词典、句法语义树库等。
不可以使用 ELMo/Bert 或其他预训练词表示。
Open:不作任何限制,可以使用任何资源。但是建议参赛者在系统报告中明确说明使用的外部资源以及这些外部资源对性能的影响。
注意事项 1:不允许使用其他目标领域的训练数据。例如,当目标领域为 PC 时,对于任何子任务,都不可以使用 PB-Train 和 ZX-Train。
注意事项 2:不允许将 Dev 加入到训练数据中,Dev 数据只可以用来调参和选择模型。
数据集
测评结果
我们的测评结果为closed下的无监督和半监督第一
详细实验流程和代码会在之后的文章里公布!
参赛人员:余南、刘宗林、甄冉冉、刘涛
推荐阅读:
一大批历史精彩文章啦
详解Transition-based Dependency parser基于转移的依存句法解析器
干货 | 找工作的经验总结(一)
经验 | 初入NLP领域的一些小建议
学术 | 如何写一篇合格的NLP论文
干货 | 那些高产的学者都是怎样工作的?
是时候研读一波导师的论文--一个简单有效的联合模型
近年来NLP在法律领域的相关研究工作