▼最近直播超级多,预约保你有收获
—1—
大模型 RAG 的难题是什么?
RAG 或者 Fine-tuning 微调作为大模型的增强技术,最核心的技术在于如何把企业的私有数据清洗转换成知识,企业中能够第一时间拿到的私有数据,往往是异构的、数据质量参差不齐,通过数据工程把数据变成知识就不是一件很容易的事儿。
OmniParse 正是为此而生的利器!它将任何非结构化数据转换为结构化知识。
Github 地址:https://github.com/adithya-s-k/omniparse
—2—
OmniParse 有哪些核心功能?
OmniParse是一个平台,能够将任何非结构化数据摄取并解析为结构化、可操作的数据,这些数据已针对大模型应用程序进行了优化。无论您正在处理文档、表格、图像、视频、音频文件还是网页,OmniParse 都会使您的数据变得干净、结构化,并为诸如 RAG、微调 等 AI 大模型应用程序做好准备。
OmniParse 平台核心特性如下所示:
✅ 完全本地化,无需外部 API
✅ 适配 T4 GPU
✅ 支持约20种文件类型
✅ 将文档、多媒体和网页转换为高质量的结构化 Markdown
✅ 表格提取、图像提取/加标注、音频/视频转录、网页爬虫
✅ 易于使用 Docke r和 Skypilot 进行部署
✅ Colab 友好
✅ 由 Gradio 驱动的交互式用户界面
OmniParse 目前支持以下的数据类型,主流的数据格式都提供了良好的支持。
—3—
OmniParse 如何安装和使用?
OmniParse 平台支持以下2种安装方式:
第一、通过源码直接安装
目前 OmniParse 源码安装仅适用于基于 Linux 的系统。这是由于某些依赖项和系统特定配置与 Windows 或 macOS 不兼容。
git clone <https://github.com/adithya-s-k/omniparse>
cd omniparse
创建虚拟环境
conda create --n omniparse-venv python=3.10
conda activate omniparse-venv
安装依赖项
poetry install
# or
pip install -e .
# or
pip install -r pyproject.toml
第二、通过 Docker 安装
也可以通过 Docker 来使用 OmniParse
docker build -t omniparse .
# if you are running on a gpu
docker run --gpus all -p 8000:8000 omniparse
# else
docker run -p 8000:8000 omniparse
第三、运行服务
#运行服务器:
python server.py --host 0.0.0.0 --port 8000 --documents --media --web
#--documents:加载所有帮助您解析和提取文档的模型(Surya OCR 系列模型和 Florence-2)。
#--media:加载 Whisper 模型来转录音频和视频文件。
#--web:设置 selenium 爬虫。
启动后会提供一个 API 服务,展示内容参考如下:
第四、执行案例
第一、以下是执行文档解析的例子,可以解析 PDF、PowerPoint 或 Word 文档。
#Curl 命令:
curl -X POST -F "file=@/path/to/document" <http://localhost:8000/parse_document>
第二、解析图像文件(PNG、JPEG、JPG、TIFF、WEBP)。
#Curl 命令:
curl -X POST -F "file=@/path/to/image.jpg" <http://localhost:8000/parse_media/image>
—4—
总结
OmniParse 旨在构建一个全面的数据摄取与解析平台,该平台能够处理包括文档、图像、音频、视频及 Web 内容在内的各类数据,并输出高度结构化、易于操作且专为 GenAI(大型语言模型)优化的数据。当前,该项目的核心理念展现出良好的实用性,尽管在实际应用中仍面临一些待完善的方面。例如,它在处理英语数据方面表现出色,但面对中文等语言时可能会遇到挑战;同时,对于 PDF 文件中的公式转换为 LaTeX 格式,也存在一定的难度。当然相信随着开源社区持续的更新,这些问题都会逐步解决。
为了帮助同学们彻底掌握大模型 RAG、微调、Agent 等应用的深层原理,在企业中的应用实践,今天我会开场直播和同学们深度剖析,请同学们点击以下预约按钮免费预约。
—5—
加我微信
有很多不方便公开发公众号的我会直接分享在朋友圈,欢迎你扫码加我个人微信来看👇
⬇戳”阅读原文“,立即预约!
END