面向LLM进行的OCR文档识别-CSDN博客

本文链接：https://blog.csdn.net/m0_59163425/article/details/147639906

在我当前的经验下，本地中尺度模型(模型体量32B、70B)这样的，并不能处理超大Token的文档处理。因此，我当前的策略是基于多级目录式的知识搜索模式。

这个技术路线有一定的创新，但很小。它的不足就是需要自己构建多级目录体系，因此还不能直接使用Dify、RagFlow的文档技术。

一、Dify和RagFlow的效果

自己实现文档处理，一个技术点就是OCR的识别。我试了下RagFlow的PDF文档识别，它虽然识别了文字，但是没有换行处理，也没有识别出章节，因此文档被扭在一块了。这种效果是不能用的。

不过RagFlow可以准确的把表格找出，它识别表格是单独的，它会把表格单独做成一个Block，但是它不能识别表格的Border，因此很可能多行文字的时候错乱了

在Dify中，换行问题比dify好。

但也可能出现错乱的情况。

表格的处理不到位，没有组织成表格。

二、UmiOCr

我还使用了UmiOCR这款软件，它集成 PaddleOCR（深度学习）与 Tesseract-OCR（传统OCR），我感觉他的准确率还是比较好的。不过他不能有效识别表格，表格的识别是一行行文字。好于Dify，dify的文字被乱换行了。水印对内容影响比较大，

三、https://mineru.net/

这款产品当前还在内测中，但我体验下来还是非常好的，它可以左右作对比做人工检查，界面清晰。

第二个优势是它能识别文字大小，在转换后还原出章节目录，这个很有用。

第三个优势是，它对于不能文字化的图，直接给出图片，这个也是值得肯定的，避免画蛇添足。

第四个优势是表格处理很尽力了，虽然还有点问题。

虽然但是，它还是有些不足。最大的问题是，它会主动把多行内容算成一行，这会导致文字错乱，跟RagFlow一样。相比之下，UmiOCr就很原生态，一行就是一行。

四、总结

可以看出，各个软件都在想方设法能够精准识别文档，奈何出现的情况千奇百怪。当然Deepseek也可以拿来做表格OCR，在表格测试也有点小问题。总之，在当前，OCR文字准确率很高了，但是因为格式错乱的问题会导致部分内容丢失、错乱。建议重要内容人工复核下，并且传递用户最原始的材料做比对。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述