【Ragflow】26.RagflowPlus(v0.4.0):完善解析逻辑/文档撰写模式全新升级

概述

在历经半个月的间歇性开发后,RagflowPlus再次迎来一轮升级,正式发布v0.4.0

开源地址:https://github.com/zstar1003/ragflow-plus

更新方法

下载仓库最新代码:

git clone https://github.com/zstar1003/ragflow-plus.git

使用docker启动:

# cpu模式
docker compose -f docker/docker-compose.yml up -d
# gpu模式
docker compose -f docker/docker-compose_gpu.yml up -d

首次启动会自动拉取最新版本镜像。

新功能

1. 上传文件支持文件夹

在此版本中,优化了上传文件,目前支持选择文件夹进行上传。

系统会自动识别,将该文件夹及其子文件夹中所有文件提取上传。

新增的选择文件夹按钮

同时,该版本重新调整了文件上传的请求通道,减少上传超时的可能性。

2. 文档撰写模式全新升级

此版本重点重构了文档撰写模块,目前在此版本中,支持自定义模板,可将当前文档内容保存为自定义名称的模板,并可对现有模板进行调整删除。

同时,文档撰写后端采用了独立的响应通道,不再需要依赖助理设置进行输出,响应速度大幅提升。

左下角增加配置选项,可以自由选择一个或多个知识库信息,同时可调节较为常用的三个搜索及模型参数。

考虑到过多的文档内容输入,有超过模型输入上限的风险。本版本对输入模型的文本范围进行重新优化,会自动选取光标位置上下文最多共4000个字符输入到问答模型中。

功能优化

1. 解析逻辑调整

本版本重新调整了解析逻辑,在解析时增加了和搜索一致的分词器,解决了上一版本中,做知识库检索时,关键词相似度为0的情况。

具体细节可参考本系列第24篇文章:【Ragflow】24.Ragflow-plus开发日志:增加分词逻辑,修复关键词检索失效问题

2. 知识库创建人权限问题

在上一版本中,知识库创建时,创建人选择非初始用户,问答时会出现报错。
本版本修复了这一问题。

3. excel解析优化

本版本对excel类型的文件采用了单独的解析管线,速度更快,效果更好。

具体细节可参考本系列第25篇文章:【Ragflow】25.Ragflow-plus开发日志:excel文件解析新思路/公式解析适配

4. Ollama解析接口调整

有群友提到(issue#65),使用ollama构建嵌入模型时,前台接口采用的是api/embeddings,而上版本后端接口采用的是v1/embeddings,不同的接口返回值不一致,会造成向量相似度计算偏差较大。

下面写了一个测试脚本,具体测试了一下这两种接口的具体调用结果:

import requests
import time

# Ollama配置
OLLAMA_HOST = "http://localhost:11434"  # 默认Ollama地址
MODEL_NAME = "bge-m3"  # 使用的embedding模型
TEXT_TO_EMBED = "测试文本"

# 定义接口URL和对应的请求体结构
ENDPOINTS = {
    "api/embeddings": {
        "url": f"{OLLAMA_HOST}/api/embeddings",  # 原生API路径
        "payload": {"model": MODEL_NAME, "prompt": TEXT_TO_EMBED},  # 原生API用prompt字段
    },
    "v1/embeddings": {
        "url": f"{OLLAMA_HOST}/v1/embeddings",  # OpenAI兼容API路径
        "payload": {"model": MODEL_NAME, "input": TEXT_TO_EMBED},  # OpenAI兼容API用input字段
    },
}

headers = {"Content-Type": "application/json"}


def test_endpoint(endpoint_name, endpoint_info):
    """测试单个端点并返回结果"""
    print(f"\n测试接口: {endpoint_name}")
    url = endpoint_info["url"]
    payload = endpoint_info["payload"]

    try:
        start_time = time.time()
        response = requests.post(url, headers=headers, json=payload)
        response_time = time.time() - start_time

        print(f"状态码: {response.status_code}")
        print(f"响应时间: {response_time:.3f}秒")

        try:
            data = response.json()

            # 处理不同接口的响应结构差异
            embedding = None
            if endpoint_name == "api/embeddings":
                embedding = data.get("embedding")  # 原生API返回embedding字段
            elif endpoint_name == "v1/embeddings":
                embedding = data.get("data", [{}])[0].get("embedding")  # OpenAI兼容API返回data数组中的embedding

            if embedding:
                print(f"Embedding向量长度: {len(embedding)}")
                return {
                    "endpoint": endpoint_name,
                    "status_code": response.status_code,
                    "response_time": response_time,
                    "embedding_length": len(embedding),
                    "embedding": embedding[:5],
                }
            else:
                print("响应中未找到'embedding'字段")
                return {"endpoint": endpoint_name, "status_code": response.status_code, "error": "No embedding field in response"}

        except ValueError:
            print("响应不是有效的JSON格式")
            return {"endpoint": endpoint_name, "status_code": response.status_code, "error": "Invalid JSON response"}

    except Exception as e:
        print(f"请求失败: {str(e)}")
        return {"endpoint": endpoint_name, "error": str(e)}


def compare_endpoints():
    """比较两个端点的性能"""
    results = []

    print("=" * 50)
    print(f"开始比较Ollama的embeddings接口,使用模型: {MODEL_NAME}")
    print("=" * 50)

    for endpoint_name, endpoint_info in ENDPOINTS.items():
        results.append(test_endpoint(endpoint_name, endpoint_info))

    print("\n" + "=" * 50)
    print("比较结果摘要:")
    print("=" * 50)

    successful_results = [res for res in results if "embedding_length" in res]

    if len(successful_results) == 2:
        if successful_results[0]["embedding_length"] == successful_results[1]["embedding_length"]:
            print(f"两个接口返回的embedding维度相同: {successful_results[0]['embedding_length']}")
        else:
            print("两个接口返回的embedding维度不同:")
            for result in successful_results:
                print(f"- {result['endpoint']}: {result['embedding_length']}")

        print("\nEmbedding前5个元素示例:")
        for result in successful_results:
            print(f"- {result['endpoint']}: {result['embedding']}")

        faster = min(successful_results, key=lambda x: x["response_time"])
        slower = max(successful_results, key=lambda x: x["response_time"])
        print(f"\n更快的接口: {faster['endpoint']} ({faster['response_time']:.3f}秒 vs {slower['response_time']:.3f}秒)")
    else:
        print("至少有一个接口未返回有效的embedding数据")
        for result in results:
            if "error" in result:
                print(f"- {result['endpoint']} 错误: {result['error']}")


if __name__ == "__main__":
    compare_endpoints()

输出结果如下:

Embedding前5个元素示例:
- api/embeddings: [-1.6793335676193237, 0.28421875834465027, -0.3738324046134949, -0.12534970045089722, 0.22841963171958923]
- v1/embeddings: [-0.0640459, 0.0108394455, -0.014257102, -0.004780547, 0.008711396]

更快的接口: api/embeddings (0.078秒 vs 0.091)

结果显示,两个接口返回维度相同(均为1024),但结果的确存在差异,同时api/embeddings接口的速度更快。

因此,本版本在后台解析时,对于ollama模型,调用接口调整为api/embeddings,修复前后台不一致的问题。

杂项

1. 前台元素精简

此版本在前台移除Agent文件管理,语言仅保留简体中文繁体中文英语,界面更简介清晰。

2. 后端代码清理

实测发现,DeepWiki在解析代码时,会输出不少deepdoc代码的细节,版本对其进行进一步解耦清理。

3. 封面优化

对后台管理的界面图标和前台登陆页的封面进行更换。

下版本计划

下版本将继续围绕文件解析和交互进行优化,计划改进点如下:

1. 聊天文件上传

在聊天时,恢复原本的上传文件交互按钮,重构文件上传处理逻辑。

2. chunk关联图片修改

在前台知识库界面,优化chunk和图片的关联显示,并支持手动编辑调整关联图片信息。

3. 图片输出顺序优化

问答输出图片时,进一步支持图片在回答问题中进行显示,而不是全放到末尾。

4. 关键词显性显示

在知识库预览中,显性显示每一个chunk的自定义关键词。

5. 中翻英适配

ragflow最新版提供了一个中文翻译成英文,然后在知识库中进行检索的功能,但实现逻辑是通过聊天模型转换,效率较低,考虑使用更轻量的方式进行实现。

总结

最近听了好几小时刘强东的采访,当初,马云问刘强东:“四通一达这么便宜,你为什么不用呢?”

出于多种原因,京东走上了自建物流的道路。

RagflowPlus的发展道路也非常相似,当现有的功能实现不够好时,重构是必由选择。

掌控算法细节,才能透过表象觉察到底层的本质原因。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zstar-_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值