- 博客(6)
- 收藏
- 关注
RSS订阅原创 中国人民大学联合百川智能发布HtmlRAG，有效增强大模型知识获取与处理能力
中国人民大学高瓴人工智能学院联合百川智能提出基于HTML的检索增强生成新范式——HtmlRAG，它使用HTML而不是纯文本作为检索知识的格式。我们认为HTML比纯文本更适合建模外部文档中的知识，而且大多数LLM具有强大的能力来理解HTML。
2025-01-14 16:27:32
1205
原创 领域自约束——百川智能商业化「加速器」
在工程实践中，为了实现高效的领域自约束训练，百川智能算法团队重写了 megatron 框架，以 Torch Distributed RPC Framework 为基础实现多种角色模型的调度和大张量通信 ，并以3 : 1的比例为优化模型（optimize model）与参考模型（reference model）进行算力分配。在新的训练范式下，只需要让模型对目标领域的数据进行学习，对其余数据进行约束，便能有较为理想的训练结果。
2025-01-11 12:21:54
1109
原创 百川智能发布全链路领域增强金融大模型Baichuan4-Finance，金融能力领先GPT-4o近20%
目前百川智能已经服务了数千家客户， 包括北电数智、完美世界游戏、爱奇艺、360集团、生学教育、爱学堂等各行业的领军企业，并且与信雅达、用友、软通动力、新致软件、达观数据、华胜天成等多家行业生态伙伴，以及华为、中科曙光等硬件厂商，中国移动、中国电信、中国联通等运营商达成合作，携手构建百川大模型生态。用友表示，Baichuan4-Finance凭借其海量的金融专业知识储备，在财税知识问答场景中，准确率较Baichuan4-Turbo提升了20%，较GPT-4o提升了10%，表现尤为亮眼。
2025-01-10 11:49:03
711
原创 如何快速领域增强 RAG 的 Embedding 模型
为了过滤掉相似度过高的查询、正例，借助 Embedding 模型计算查询、正例的相似度，并去掉了相似度较高的数据。比如，在金融领域 Embedding 模型评测集 FinMTEB 中可以发现，当前的主流 Embedding 模型在金融领域 hard 测试集表现一般，相比在通用评测集 MTEB 的平均分数有较大程度下降。为了提高数据质量和训练的效率，使用挖掘难负例的方法，即通过 Embedding 模型计算查询语句、其他切片的相似度，并选择相似度高的切片作为难负例。
2025-01-10 11:21:39
1144
原创 MuseD——提升大模型多步演绎推理能力
今年9月，OpenAI 在“o1”的技术报告中提出了train-time compute和test-time compute，。复杂的多步推理任务是大语言模型应用的一个重要挑战。多步推理即从初始条件出发，通过多步逻辑推导逐步得出结论的过程，对于解决现实中复杂的任务至关重要，数学题解、法律推理、科学论证等应用场景都需要模型具备这一能力。，医疗、法律等领域的专家期望 AI 系统能完成从信息提取到推理分析等多个层次的任务。这些任务同样要求模型具备多步推理的能力，以便给出准确、科学的判断或诊断。
2024-11-26 14:53:50
957
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人