本文是LLM系列文章,针对《Exploring Large Language Models and Hierarchical Frameworks for Classification of Large Unstructured Legal Documents》的翻译。
摘要
法律判决预测普遍存在长案文书超过数万字、结构不统一的问题。从这样的文档中预测判断成为一项具有挑战性的任务,对于没有结构注释的文档更是如此。我们通过一个基于深度学习的分层框架(我们称之为MESc)来探索这些大型法律文件的分类及其缺乏结构信息的问题;”基于多级编码器的集群监督”;用于判断预测。具体来说,我们将文档分成多个部分,从自定义微调的大型语言模型的最后四层中提取它们的嵌入,并尝试通过无监督聚类来近似它们的结构。我们在另一组transformer-编码器层中使用它来学习块间表示。我们分析了具有数十亿参数的大型语言模型(LLM)(GPT-Neo和GPTJ)与MESc的分层框架的适应性,并将其与它们在法律文本上的独立性能进行了比较。我们还研究了它们的域内(法律)迁移学习能力以及在MESc中组合最后一层嵌入的影响。我们使用ILDC数据集和LexGLUE数据集的一个子集,对来自印度、欧盟和美国的法律文件进行了广泛的实验和消融研究,以测试这些方法及其有效性。与以前最先进的方法相比,我们的方法实现了大约2个点的最小总性能增益。