1 比赛介绍
第三届琶洲算法大赛 -GLM 法律行业大模型挑战赛道
- 赛题页面:https://tianchi.aliyun.com/competition/entrance/532221/information
- 解题示例:https://tianchi.aliyun.com/competition/entrance/532221/customize444
- 说明文档:https://zhipu-ai.feishu.cn/wiki/M6lCwkSEWiBQIKkQLtIcTuV2nqh?spm=a2c22.12281976.0.0.536f7dd2Pg0INK
2 问题概述
在法律服务领域,基于智谱 GLM-4 大模型和相关业务 API,构建一个能回答法律问题的 Agent(问题机器人)。该 Agent 需要在一小时内回答 200 道问题。
这种整体方案可以应用于许多专业领域。我们也可以通过比较优化和未优化的情况下,看看效果如何。(初赛 A 榜的前 100 名得分都在 80-90 分区间内,查看了一些代码后,我觉得稍加改进也能达到 70+)
3 问题类型
- 简单问题:查单表和几个字段。
- 复杂问题:跨多表查询、逻辑判断和统计操作。
3.1 简单题
简介:参赛者只需要 1 次或者 2 次调用接口即可获得答案
1 2 3 4 5 | Q: 我想要联系广州发展集团股份有限公司公司的法人代表,请问他的名字是什么? A: 经查询,广州发展集团股份有限公司公司的法人代表是蔡瑞雄。 Q: 我想了解06865 福莱特玻璃这个股票代码的上市公司信息,可以提供公司的英文名称吗? A: 06865 福莱特玻璃股票代码的上市公司的英文名称是Flat Glass Group Co., Ltd.。 |
3.2 中级题
简介:参赛者需灵活运用提供的接口,可能还需插入逻辑操作,并按编排依次调用接口。
1 2 3 4 5 | Q: 我想了解化学原料和化学制品制造业这个行业的公司有哪些,请列出注册资本最大的3家头部公司,并给出他们的具体注册资本数额 A: 在化学原料和化学制品制造业行业中,头部的3家公司分别是浙江龙盛集团股份有限公司, 阳煤化工股份有限公司, 北京海新能源科技股份有限公司,它们的注册资本分别为325333.186, 237598.1952, 234972.0302。 Q: 上海家化联合股份有限公司为原告时他主要和哪家律师事务所合作?合作次数为几次。 A: 上海家化联合股份有限公司主要和浙江若屈律师事务所律师合作,合作了有11次。 |
4 系统架构
5 github 分享的比赛代码
论坛里有很多 baseline 分享
- https://github.com/livosr/livosr-GLM4-Agent-RAG-tianchi
- 有文档,有部分数据,有 lora 精调模型
- https://github.com/sliderSun/law_glm_baseline/
- 中规中矩,有数据,代码清晰,有基本说明
- https://github.com/hehaha68/law_glm_baseline
- 20 Star 是目前 github 找到该比赛项目星最多的
- 代码不多,思路清晰,参考提示词
6 思考
- 这个比赛比的是什么?
- “窄域”问题(涉及十几个 API 或表单),复杂问题,落地场景
- 提供使用场景、数据和大模型,中间还需要做什么?数据怎么存储?思考存什么?接口何时调用?
- 从具体到通用
- 从数据出发 & 从工具出发
- 大模型内部
- 大模型的语言能力:简写、规范化、错别字
- 遵从能力:格式错误,内容啰嗦(有专门测试遵从能力的 Benchmark)
- LLM 只是“想一次”的角度:窄,深(直接,单步,不拐弯)
- 需要给 LLM 提供正确的上下文(示例,数据,提示词)
- 大模型外部
- 记忆必须搭在大模型之外(准确、实时变化、可解释)
- Few-shot:借鉴同类问题的解决方法(拆分、回答格式)
- 设计修正方案(多轮交互,从成功/失败中学习)
- 问题文本描述 -> 大模型更为友好
- 拆分:把大问题拆成序列,并排序
- 隐藏:发现隐藏关系 GraphRAG
- 调用外部工具:
- 复杂问题 -> 指令 -> API
- 提供 API(Plugin/Tool),而非直接操作数据/数据库
- 对每个工具做好封装:描述,用法,接口