PaddleSharp:跨越一年的版本更新与亮点
我始终坚信,开源社区是技术进步的重要推动力,也是我抽出我业余时间,投入到PaddleSharp
这个项目的原因,这个项目充分展现了.NET在复杂计算领域的潜力。今天很高兴地告诉大家,PaddleSharp
有了新版本!
先来说说背景,有的朋友可能知道,PaddleSharp
过去老版本存在一些东西过时或者无法使用的情况。但是,时光恰恰是优化和革新的好理由和契机,我在距离上一篇文章发布之后,做了许多优化,下面我挑重要的部分做介绍。
整体体验
文档和示例
我一直在更新Github
首页的使用文档和示例:
https://github.com/sdcb/PaddleSharp (项目首页+整体介绍+推理库部分)
https://github.com/sdcb/PaddleSharp/blob/master/docs/ocr.md (PaddleOCR)
https://github.com/sdcb/PaddleSharp/blob/master/docs/detection.md (PaddleDetection)
https://github.com/sdcb/PaddleSharp/blob/master/docs/rotation-detection.md (RotationDetection)
https://github.com/sdcb/PaddleSharp/blob/master/docs/paddle2onnx.md (Paddle模型转Onnx)
里面包含了大致介绍、使用方式、使用示例、注意事项等。
我会持续维护这些文档,尤其是有客户有时向我反馈一些问题,我会将里面一些常见的问题和解决办法写在上面文档中,因此建议初接触PaddleSharp
的朋友看看。
xml注释和snuget调试
作为一名程序员,编程体验很重要,方法怎么用,一个是看示例,另一个就是看注释。
为此我将PaddleSharp
中所有的公有方法、受保护方法都加上了详尽的xml注释,这一点在Github上显示了超过9000行代码变动,以后在Visual Studio
中鼠标放在PaddleSharp
里面的类、参数、方法上时,就会显示详尽的注释,比如下面这个注释:
/// <summary>
/// Returns an Action delegate that configures PaddleConfig for use with Onnx.
/// </summary>
/// <param name="cpuMathThreadCount">The number of CPU threads to use for math operations. A value of 0 sets it to minimum of 4 and the available number of processors.</param>
/// <param name="enableOnnxOptimization">Flag to enable or disable Onnx runtime optimization.</param>
/// <param name="memoryOptimized">Flag to enable or disable memory optimization.</param>
/// <param name="glogEnabled">Flag to enable or disable logging with glog.</param>
/// <returns>The ONNX Runtime paddle device definition.</returns>
public static Action<PaddleConfig> Onnx(int cpuMathThreadCount = 0, bool enableOnnxOptimization = true, bool memoryOptimized = true, bool glogEnabled = false)
{
return cfg =>
{
cfg.OnnxEnabled = true;
if (enableOnnxOptimization) cfg.EnableOnnxOptimization();
cfg.CpuMathThreadCount = cpuMathThreadCount switch
{
0 => Math.Min(4, Environment.ProcessorCount),
_ => cpuMathThreadCount
};
CommonAction(cfg, memoryOptimized, glogEnabled);
};
}
可见它会每个成员函数、参数、返回值都作出了详尽的xml注释。
以此为基础,我还将所有的.NET
包发布了.snuget
包,这些包自带pdb
调试符号文件,以后编程中按F11即可单步调试进入PaddleSharp
的源代码中,。
Paddle推理库
设备管理
其中,一项重要的改变在于设备使用接口的设计。老版本中只有PaddleConfig.Defaults.UseGpu
这一设备启用选项,为了增强扩展性和用户体验,便对其进行了扩展:新版本中我引入了下列设备:
PaddleDevice.Gpu()
PaddleDevice.Openblas()
PaddleDevice.Onnx()
PaddleDevice.Mkldnn()
PaddleDevice.TensorRt()
(需要和PaddleDevice.Gpu()
配合使用)
不同的方法代表着不同的设备类型,这无疑为用户提供了更大的选择空间,这是PaddleOCR
的新版本使用示例(它需要作为PaddleOcrAll的参数传进去):
// 注:需要先安装如下NuGet包:
// * Sdcb.PaddleInference
// * Sdcb.PaddleOCR
// * Sdcb.PaddleOCR.Models.LocalV3
// * Sdcb.PaddleInference.runtime.win64.mkl
// * OpenCvSharp4.runtime.win
FullOcrModel model = LocalFullModels.ChineseV3;
byte[] sampleImageData;
string sampleImageUrl = @"https://www.tp-link.com.cn/content/images2017/gallery/4288_1920.jpg";
using (HttpClient http = new HttpClient())
{
Console.WriteLine("Download sample image from: " + sampleImageUrl);
sampleImageData = await http.GetByteArrayAsync(sampleImageUrl);
}
// 下面的PaddleDevice.Mkldnn()是新加的
// 之前是用的PaddleConfig.Defaults.UseMkldnn = true
// 如果想要GPU,则改为PaddleDevice.Gpu()即可
using (PaddleOcrAll all = new PaddleOcrAll(model, PaddleDevice.Mkldnn())
{
AllowRotateDetection = true, /* 允许识别有角度的文字 */
Enable180Classification = false, /* 不允许识别旋转角度大于90度的文字 */
})
{
// 如果需要读取本地文件,使用如下被注释的代码
// using (Mat src2 = Cv2.ImRead(@"C:\test.jpg"))
using (Mat src = Cv2.ImDecode(sampleImageData, ImreadModes.Color))
{
PaddleOcrResult result = all.Run(src);
Console.WriteLine("Detected all texts: \n" + result.Text);
foreach (PaddleOcrResultRegion region in result.Regions)
{
Console.WriteLine($"Text: {region.Text}, Score: {region.Score}, RectCenter: {region.Rect.Center}, RectSize: {region.Rect.Size}, Angle: {region.Rect.Angle}");
}
}
}
其中用于设备管理的代码在:
using (PaddleOcrAll all = new PaddleOcrAll(model, PaddleDevice.Mkldnn())
它可以换为PaddleDevice.Openblas()
(表示不使用Mkldnn):
using (PaddleOcrAll all = new PaddleOcrAll(model, PaddleDevice.Openblas())
或者换成PaddleDevice.Gpu()
(表示使用GPU——但必须先安装Gpu的相关包并配好环境):
using (PaddleOcrAll all = new PaddleOcrAll(model, PaddleDevice.Gpu())
当然,我会尽量简化和清晰地解释这个部分。以下是我的修改提案:
库加载方式优化
在旧版PaddleSharp
中,库加载方式主要有两种:在.NET Framework
中采用Autoload
方式,在.NET Core
中采用SearchPathLoad
方式。然而,这两种方式在某些情况下并不理想,特别是在Linux
环境下。
Autoload方式
Autoload
方式的主要问题在于,PaddleSharp
依赖于paddle_inference_c.dll
,而paddle_inference_c.dll
又依赖于其他dll如openblas.dll
。即使paddle_inference_c.dll
成功加载,也可能因为其他依赖dll的问题导致推理失败。
解决办法是在调用依赖dll加载的函数前,先调用一个不会触发加载的函数,例如PaddleConfig.Version
。然后在当前进程模型中找到paddle_inference_c
模块,定位到它所在的文件夹,并把文件夹路径导入到环境变量中。
SearchPathLoad方式
SearchPathLoad
方式利用了.NET Core 3.1
引入的AppContext
变量:NATIVE_DLL_SEARCH_DIRECTORIES
。这种方式不需要读取进程模块就能知道dll的位置。
但是,这种方法在Linux
环境下行不通。因为Linux
的LD_LIBRARY_PATH
环境变量必须在进程启动前被确定。一旦进程启动,环境变量的值就被缓存起来,运行时的修改对程序无效。
新的加载方式
为了解决上述问题,新的PaddleSharp
版本采用了逐步加载依赖的方式。在Linux
环境中,依次加载以下动态库:
libgomp.so.1
libiomp5.so
libdnnl.so.2
libmklml_intel.so
libonnxruntime.so.1.11.1
libpaddle2onnx.so.1.0.0rc2
这种新的加载方式有效解决了在Linux
环境下的问题。
PaddleOCR
已经支持表格识别
这个许多客户反馈了许久,我在大概2023年五一的时候实现了表格识别功能,同时表格识别的模型我都加入了Sdcb.PaddleOCR.Models.LocalV3
/Sdcb.PaddleOCR.Models.Online
包,可以全离线表格识别或者按需下载模型表格识别。
它的使用示例如下(最新版本请参考这个链接:https://github.com/sdcb/PaddleSharp/blob/master/docs/ocr.md#table-recognition ):
// Install following packages:
// Sdcb.PaddleInference
// Sdcb.PaddleOCR
// Sdcb.PaddleOCR.Models.LocalV3
// Sdcb.PaddleInference.runtime.win64.mkl (required in Windows, linux using docker)
// OpenCvSharp4.runtime.win (required in Windows, linux using docker)
using PaddleOcrTableRecognizer tableRec = new(LocalTableRecognitionModel.ChineseMobileV2_SLANET);
using Mat src = Cv2.ImRead(Path.Combine(Environment.GetFolderPath(Environment.SpecialFolder.MyPictures), "table.jpg"));
// Table detection
TableDetectionResult tableResult = tableRec.Run(src);
// Normal OCR
using PaddleOcrAll all = new(LocalFullModels.ChineseV3);
all.Detector.UnclipRatio = 1.2f;
PaddleOcrResult ocrResult = all.Run(src);
// Rebuild table
string html = tableResult.RebuildTable(ocrResult);
效果如图:
Raw table | Table model output | Rebuilt table |
---|---|---|
![]() | ![]() | ![]() |
值得注意的是,PaddleSharp
的表格识别是基于飞桨的深度学习模型,对于一些规整的表格,它的效果可能不如使用传统的OpenCV
算法,如果想了解传统算法,可以参考我2021年.NET Conf China
做的技术分享的pdf:[.NET玩转计算机视觉OpenCV - 周杰](https://io.starworks.cc:88/cv-public/2021/.NET%E7%8E%A9%E8%BD%AC%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89OpenCV.pdf)
两个新的模型包LocalV3/Online
新版本中,还引入了两个新的本地模型包:Sdcb.PaddleOCR.Models.LocalV3
/Sdcb.PaddleOCR.Models.Online
。一个表示完全本地——不用联网即可使用OCR,另一个表示需要联网,模型按需下载。
下面是使用Sdcb.PaddleOCR.Models.LocalV3
的示例:
FullOcrModel model = LocalFullModels.EnglishV3; // 将EnglishV3换为其它模型,如ChineseV3
using (PaddleOcrAll all = new PaddleOcrAll(model))
{
// ...
}
下面是使用Sdcb.PaddleOCR.Models.Online
的示例:
FullOcrModel model = await OnlineFullModels.EnglishV3.DownloadAsync();
using (PaddleOcrAll all = new PaddleOcrAll(model))
{
// ...
}
其中值得一提的是LocalV3
,它将所有已知PaddleOCR
的v3模型都包含了,安装这个包可以实现完全不联网部署。
为什么我需要淘汰原来的Sdcb.PaddleOCR.KnownModels
?
说来话长,首先KnownModels有下面几个缺点:
主要原因是OCR需要使用的文字检测、180度分类、文字识别3个模型会下载到以语言命名的同一个文件夹中:
C:\Users\ZhouJie\AppData\Roaming\paddleocr-models\ppocr-v3>tree /f C:. │ key.txt │ ├─cls │ inference.pdiparams │ inference.pdiparams.info │ inference.pdmodel │ ├─det │ inference.pdiparams │ inference.pdiparams.info │ inference.pdmodel │ └─rec inference.pdiparams inference.pdiparams.info inference.pdmodel
如上图,每个模型的cls文件夹都可能重复占用磁盘空间、且需要重复下载——这不合理。
因此我引入了
Sdcb.PaddleOCR.Models.Online
,已经下载过的模型不会重复下载,这个行为和PaddleOCR
上游Python
代码一致。次要问题是它的命名,
KnownModels
不能代表它是本地模型还是线上模型(虽然它本质是线上模型、按需下载),如果使用LocalV3
和Online
,则可以清晰地看出是本地模型或者线上模型。
识别阶段走batch
关于性能问题,新版本也做了一些重要的升级。OCR文字识别阶段能够自动支持batch处理,且走batch时会排序,将一样宽的文字行做一批识别,这样大大优化了程序的性能。
据一些客户的测试反馈,PaddleSharp
的PaddleOCR
的性能表现很好,甚至在某些场景下和官方的C++
、Python
版本相比有更好的表现。
总结
其实上面只是一些主要的,其实PaddleSharp
项目还有许多非常有意思功能增强,比如RotationDetection
和Paddle2Onnx
,以后有机会我一一介绍。
我深信这些更新无疑会为.NET
开源社区带来更多的可能性和便利。我将继续在这个领域上付出努力,为.NET
社区做出更多的贡献。我期待着更多.NET
爱好者能够加入我,一起提升PaddleSharp
在.NET
深度学习实战应用中的影响力,它将始终保持好用且免费,让我们共同期待它的更多精彩!
想尝试PaddleSharp
的朋友,欢迎访问我的[Github](https://github.com/sdcb/PaddleSharp)
,也请给个Star🌟
喜欢的朋友 请关注我的微信公众号:【DotNet骚操作】
![ed51f6813bf02969a08cf9f2dac2b4da.jpeg](https://i-blog.csdnimg.cn/blog_migrate/fd62e53caf9ec4c1ce413d3ece017e55.png)