C# LaMa Image Inpainting 图像修复 Onnx Demo

已于 2024-10-15 10:19:36 修改
阅读量2.1k 收藏 22
点赞数 25
分类专栏： C#人工智能实践 文章标签： LaMa Inpainting LaMa图像修复 人工智能 深度学习 opencv 神经网络 计算机视觉
于 2024-03-01 16:10:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lw112190/article/details/136398019
版权
本文介绍了一种名为LaMaImageInpainting的图像修复模型，展示了如何在C#中通过OnnxRuntime进行模型推理，包括模型加载、预处理和后处理步骤。提供了源代码下载链接。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

介绍

效果 

模型信息

项目

代码

下载

LaMa Image Inpainting 图像修复 Onnx Demo

介绍

gihub地址：https://github.com/advimman/lama

🦙 LaMa Image Inpainting, Resolution-robust Large Mask Inpainting with Fourier Convolutions, WACV 2022

效果 

模型信息

Model Properties
-------------------------
---------------------------------------------------------------

Inputs
-------------------------
name：image
tensor：Float[1, 3, 1000, 1504]
name：mask
tensor：Float[1, 1, 1000, 1504]
---------------------------------------------------------------

Outputs
-------------------------
name：inpainted
tensor：Float[1, 1000, 1504, 3]
---------------------------------------------------------------

项目

代码

using Microsoft.ML.OnnxRuntime;
using Microsoft.ML.OnnxRuntime.Tensors;
using OpenCvSharp;
using System;
using System.Collections.Generic;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Windows.Forms;

namespace Onnx_Demo
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        string fileFilter = "*.*|*.bmp;*.jpg;*.jpeg;*.tiff;*.tiff;*.png";
        string image_path = "";
        string image_path_mask = "";
        DateTime dt1 = DateTime.Now;
        DateTime dt2 = DateTime.Now;
        string model_path;
        Mat image;
        Mat image_mask;

        SessionOptions options;
        InferenceSession onnx_session;
        Tensor<float> input_tensor;
        Tensor<float> input_tensor_mask;
        List<NamedOnnxValue> input_container;
        IDisposableReadOnlyCollection<DisposableNamedOnnxValue> result_infer;

        StringBuilder sb = new StringBuilder();

        private void button1_Click(object sender, EventArgs e)
        {
            OpenFileDialog ofd = new OpenFileDialog();
            ofd.Filter = fileFilter;
            if (ofd.ShowDialog() != DialogResult.OK) return;
            pictureBox1.Image = null;
            image_path = ofd.FileName;
            pictureBox1.Image = new Bitmap(image_path);
            textBox1.Text = "";
            image = new Mat(image_path);
            pictureBox2.Image = null;
        }

        private void button2_Click(object sender, EventArgs e)
        {
            if (image_path == "")
            {
                return;
            }

            button2.Enabled = false;
            pictureBox2.Image = null;
            textBox1.Text = "";

            image = new Mat(image_path);
            int w = image.Width;
            int h = image.Height;
            image_mask = new Mat(image_path_mask);

            Common.Preprocess(image, image_mask, input_tensor, input_tensor_mask);

            //将 input_tensor 放入一个输入参数的容器，并指定名称
            input_container.Add(NamedOnnxValue.CreateFromTensor("image", input_tensor));

            //将 input_tensor_mask 放入一个输入参数的容器，并指定名称
            input_container.Add(NamedOnnxValue.CreateFromTensor("mask", input_tensor_mask));

            dt1 = DateTime.Now;
            //运行 Inference 并获取结果
            result_infer = onnx_session.Run(input_container);
            dt2 = DateTime.Now;

            Mat result = Common.Postprocess(result_infer);

            Cv2.Resize(result, result, new OpenCvSharp.Size(w, h));

            sb.AppendLine("推理耗时:" + (dt2 - dt1).TotalMilliseconds + "ms");

            pictureBox2.Image = new Bitmap(result.ToMemoryStream());
            textBox1.Text = sb.ToString();

            button2.Enabled = true;
        }

        private void Form1_Load(object sender, EventArgs e)
        {
            model_path = "model/big_lama_regular_inpaint.onnx";

            // 创建输出会话，用于输出模型读取信息
            options = new SessionOptions();
            options.LogSeverityLevel = OrtLoggingLevel.ORT_LOGGING_LEVEL_INFO;
            options.AppendExecutionProvider_CPU(0);// 设置为CPU上运行

            // 创建推理模型类，读取本地模型文件
            onnx_session = new InferenceSession(model_path, options);//model_path 为onnx模型文件的路径

            // 输入Tensor
            input_tensor = new DenseTensor<float>(new[] { 1, 3, 1000, 1504 });

            input_tensor_mask = new DenseTensor<float>(new[] { 1, 1, 1000, 1504 });

            // 创建输入容器
            input_container = new List<NamedOnnxValue>();

            image_path = "test_img/test.jpg";
            pictureBox1.Image = new Bitmap(image_path);

            image_path_mask = "test_img/mask.jpg";
            pictureBox3.Image = new Bitmap(image_path_mask);
        }
    }
}

using Microsoft.ML.OnnxRuntime;
using Microsoft.ML.OnnxRuntime.Tensors;
using OpenCvSharp;
using System;
using System.Collections.Generic;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Windows.Forms;

namespace Onnx_Demo
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        string fileFilter = "*.*|*.bmp;*.jpg;*.jpeg;*.tiff;*.tiff;*.png";
        string image_path = "";
        string image_path_mask = "";
        DateTime dt1 = DateTime.Now;
        DateTime dt2 = DateTime.Now;
        string model_path;
        Mat image;
        Mat image_mask;

        SessionOptions options;
        InferenceSession onnx_session;
        Tensor<float> input_tensor;
        Tensor<float> input_tensor_mask;
        List<NamedOnnxValue> input_container;
        IDisposableReadOnlyCollection<DisposableNamedOnnxValue> result_infer;

        StringBuilder sb = new StringBuilder();

        private void button1_Click(object sender, EventArgs e)
        {
            OpenFileDialog ofd = new OpenFileDialog();
            ofd.Filter = fileFilter;
            if (ofd.ShowDialog() != DialogResult.OK) return;
            pictureBox1.Image = null;
            image_path = ofd.FileName;
            pictureBox1.Image = new Bitmap(image_path);
            textBox1.Text = "";
            image = new Mat(image_path);
            pictureBox2.Image = null;
        }

        private void button2_Click(object sender, EventArgs e)
        {
            if (image_path == "")
            {
                return;
            }

            button2.Enabled = false;
            pictureBox2.Image = null;
            textBox1.Text = "";

            image = new Mat(image_path);
            int w = image.Width;
            int h = image.Height;
            image_mask = new Mat(image_path_mask);

            Common.Preprocess(image, image_mask, input_tensor, input_tensor_mask);

            //将 input_tensor 放入一个输入参数的容器，并指定名称
            input_container.Add(NamedOnnxValue.CreateFromTensor("image", input_tensor));

            //将 input_tensor_mask 放入一个输入参数的容器，并指定名称
            input_container.Add(NamedOnnxValue.CreateFromTensor("mask", input_tensor_mask));

            dt1 = DateTime.Now;
            //运行 Inference 并获取结果
            result_infer = onnx_session.Run(input_container);
            dt2 = DateTime.Now;

            Mat result = Common.Postprocess(result_infer);

            Cv2.Resize(result, result, new OpenCvSharp.Size(w, h));

            sb.AppendLine("推理耗时:" + (dt2 - dt1).TotalMilliseconds + "ms");

            pictureBox2.Image = new Bitmap(result.ToMemoryStream());
            textBox1.Text = sb.ToString();

            button2.Enabled = true;
        }

        private void Form1_Load(object sender, EventArgs e)
        {
            model_path = "model/big_lama_regular_inpaint.onnx";

            // 创建输出会话，用于输出模型读取信息
            options = new SessionOptions();
            options.LogSeverityLevel = OrtLoggingLevel.ORT_LOGGING_LEVEL_INFO;
            options.AppendExecutionProvider_CPU(0);// 设置为CPU上运行

            // 创建推理模型类，读取本地模型文件
            onnx_session = new InferenceSession(model_path, options);//model_path 为onnx模型文件的路径

            // 输入Tensor
            input_tensor = new DenseTensor<float>(new[] { 1, 3, 1000, 1504 });

            input_tensor_mask = new DenseTensor<float>(new[] { 1, 1, 1000, 1504 });

            // 创建输入容器
            input_container = new List<NamedOnnxValue>();

            image_path = "test_img/test.jpg";
            pictureBox1.Image = new Bitmap(image_path);

            image_path_mask = "test_img/mask.jpg";
            pictureBox3.Image = new Bitmap(image_path_mask);
        }
    }
}

Common.cs

using Microsoft.ML.OnnxRuntime;
using Microsoft.ML.OnnxRuntime.Tensors;
using OpenCvSharp;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;

namespace Onnx_Demo
{
    internal class Common
    {
        public static void Preprocess(Mat image, Mat image_mask,  Tensor<float> input_tensor, Tensor<float> input_tensor_mask)
        {
            Cv2.Resize(image, image, new OpenCvSharp.Size(1504, 1000));
            // 输入Tensor
            for (int y = 0; y < image.Height; y++)
            {
                for (int x = 0; x < image.Width; x++)
                {
                    input_tensor[0, 0, y, x] = image.At<Vec3b>(y, x)[0] / 255.0f;
                    input_tensor[0, 1, y, x] = image.At<Vec3b>(y, x)[1] / 255.0f;
                    input_tensor[0, 2, y, x] = image.At<Vec3b>(y, x)[2] / 255.0f;
                }
            }

            Cv2.Resize(image_mask, image_mask, new OpenCvSharp.Size(1504, 1000));
            //膨胀核函数
            Mat element1 = new Mat();
            OpenCvSharp.Size size1 = new OpenCvSharp.Size(11, 11);
            element1 = Cv2.GetStructuringElement(MorphShapes.Rect, size1);

            //膨胀一次，让轮廓突出
            Mat dilation = new Mat();
            Cv2.Dilate(image_mask, image_mask, element1);

            //输入Tensor
            for (int y = 0; y < image_mask.Height; y++)
            {
                for (int x = 0; x < image_mask.Width; x++)
                {
                    float v = image_mask.At<Vec3b>(y, x)[0];
                    if (v > 127)
                    {
                        input_tensor_mask[0, 0, y, x] = 1.0f;
                    }
                    else
                    {
                        input_tensor_mask[0, 0, y, x] = 0.0f;
                    }
                }
            }

        }

        public static Mat Postprocess(IDisposableReadOnlyCollection<DisposableNamedOnnxValue> result_infer)
        {
            // 将输出结果转为DisposableNamedOnnxValue数组
            DisposableNamedOnnxValue[] results_onnxvalue = result_infer.ToArray();

            // 读取第一个节点输出并转为Tensor数据
            Tensor<float> result_tensors = results_onnxvalue[0].AsTensor<float>();

            float[] result_array = result_tensors.ToArray();

            for (int i = 0; i < result_array.Length; i++)
            {
                result_array[i] = Math.Max(0, Math.Min(255, result_array[i]));
            }

            Mat result = new Mat(1000, 1504, MatType.CV_32FC3, result_array);

            return result;
        }
    }
}

下载

源码下载

UINT64整型数据在格式化时使用了不匹配的格式化符%d导致其他参数无法打印的问题排查
dvlinker的技术专栏
09-18 2万+
UINT64整型数据在格式化时使用了不匹配的格式化符%d导致其他参数无法打印的问题排查
linux C 打印方法集锦
chrovery的专栏
05-27 2187
打印方法集锦： 将当前函数名、line number打印出来 同时将打印字符设置为蓝色 printk("\033[0;34m function and line [%s][%d] \033[0m\n",__FUNCTION__,__LINE__); 打印当前时间 printk("\033[0;34m Date and time is [%s][%s] \033[0m\n
C语言学习笔记之格式化输出%p
RisingSunny的专栏
02-06 3251
格式化输出printf中的%p可以用于打印指针（地址） 例如： #include void main(){ int num = 10; int *p = &num; printf("%p,%p",p,&num); } 最终的结果为两个相同的地址值：002DFD10,002DFD10。 每次运行输出的地址值不一定就是上面的这两个，可以是别的两个同样的值。另外，上面两个值是在32位机
打印时%p是什么意思
Zoeeeyy的博客
03-22 1044
#include<stdio.h> void main() { int i=100; printf("%d\n",i); int *pointer = &i; printf("%p\n",i); printf("%p",pointer); } Output: 100 // 变量i的数值 0000000000000064 // 变量i的地址 - > 100的hex形式， why? 000000000062FE14 // pointer的地
printf()函数的格式描述符
最新发布
sztu065016的博客
03-09 447
指定输出的最小字符数。：通常用于浮点数或者字符串，指定小数点后的位数或者输出的最大字符数。在格式说明符中，还可以指定输出的最小宽度、精度和其他标志。：可以在格式说明符前加一些标志来控制输出格式。：输出指针的地址（以十六进制形式显示地址）。：输出浮点数，按小数形式（默认6位小数）。：输出无符号十六进制整数，使用小写字母（：输出无符号十六进制整数，使用大写字母（：输出浮点数，按科学计数法（小写。：输出浮点数，按科学计数法（大写。：输出无符号八进制整数（以。：输出有符号十进制整数。：输出无符号十进制整数。
C语言%p是啥
m0_74129276的博客
01-06 6243
%p是打印地址（指针地址）的，是十六进制的形式，但是会全部打完，即有多少位打印多少位。 \n\n32位编译器的指针变量为4个字节(32位)，64位编译器的指针变量为8个字节(64位)。\n\n所以，在32位编译器下，使用%p打印指针变量，则会显示32位的地址（16进制的）； 在64位编译器下，使用%p打印指针变量，则会显示64位的地址（16进制的），左边空缺的会补0。 \n\n%x：无符号十六进制整数(字母小写，不像上面指针地址那样补零)\n\n%X：无符号十六进制整数(字母大写，不像上面指针那样补零
c语言打印地址的格式错误,printf()在c中以％p格式打印的地址是哪一个？
weixin_32236693的博客
05-19 571
我有简单的代码如下：#includeint glob;int main(void){int a;printf("&a is : %p \n", &a);printf("glob is : %p \n", &glob);return 0;}上述方案的产出是：第一次运行：&a is : 0x7fff70de91ecglob is : 0x6008f4第二次运行：&amp...
在c语言中是什么作用,在C语言中，”%p”的意思是什么？
weixin_29219189的博客
05-17 897
(1) 图示 :(2) %p是打印地址的, %x是以十六进制形式打印, 完全不同!另外在64位下结果会不一样, 所以打印指针老老实实用%p .(3) 测试代码 :#includeint main(){int arr[5] = {10,20,30,40,50};int i = 0;printf("数据:\n\n");printf("十进制表示的数据：\n");for(i = 0 ; i < 5...
C语言”%p”的意思-----printf("%p",p)
热门推荐
Young_Fan
05-27 5万+
printf("%p",p) %p是打印地址（指针地址）的，是十六进制的形式，但是会全部打完，即有多少位打印多少位。 32位编译器的指针变量为4个字节(32位)，64位编译器的指针变量为8个字节(64位)。 所以，在32位编译器下，使用%p打印指针变量，则会显示32位的地址（16进制的）；在64位编译器下，使用%p打印指针变量，则会显示64位的地址（16进制的），左边空缺的会补0...
C语言格式化输出指针地址
06-22
在C语言中，格式化输出（printf或fprintf等函数）通常用于将数据按照特定格式打印到控制台或文件。如果你想要输出指针的地址，你可以使用`%p`转换说明符。这个说明符用于输出内存地址，格式类似于"0xADDRESS"，其中...
C/C++指针和取地址的方法
09-05
这里的`%p`是打印指针的格式化符号，用于显示十六进制的内存地址。在示例中，`a`的地址是`002AF744`。 2. `printf("%p\n",ap);` 这行代码打印的是指针`ap`的值，即`ap`所指向的内存地址。由于`ap`已经被初始化为`a`...
c语言中指针如何输出整型变量的地址和对应的值
12-10
3. 要打印指针的地址和它所指向的值，可以分别使用 `%p` 格式化说明符（用于地址）和 `%d` (用于整数)： ```c printf("地址: %p \n", p_my_int); // 输出指针的地址 printf("值: %d \n", *p_my_int); // 输出指针所...
小记printk+%p打印错误的内核空间地址
Melokc的博客
02-07 401
平台：RK3568，架构：AArch64（ARM64），VA_BITS=39笔者先使用了mycache=kmem_cache_create("Melokc_Cache",88,0,SLAB_CACHE_DMA,NULL);申请了一块slab内存池。随后调用obj=kmem_cache_alloc(mycache,GFP_KERNEL);从内存池中申请对象。之后使用pr_info("addr=%p\n",obj)打印对象的地址，得到的地址是：00000000eddf8eaf这显然是错误的地址。
打印内存地址
u012373020的专栏
02-20 1175
问题：请问在printf打印函数中一般用什么形式打印变量的内存地址？   解析：这个题目是C语言编程中应用十分普遍的一个基础知识。最常用的打印方式有%p和%x两种。代码如下： #include int main() { int a; printf("%p\n",&a); printf("0x%X\n",&a); getchar(); } 上述代码的输出结果
c++ scanf读取_使用scanf（）读取内存地址并在C中打印其值
cumt951045的博客
06-25 1681
c++ scanf读取Here, we have to input a valid memory address and print the value stored at memory address in C. 在这里，我们必须输入一个有效的内存地址并在C中打印存储在内存地址中的值。 To input and print a memory address, we use "%p" form...
c 打印结构体地址
wg582981826的专栏
09-04 1077
在 C 语言中，可以使用 & 操作符获取结构体变量的地址，并使用 %p 格式说明符打印地址。
如何打印内存地址
计算机技术博客
07-05 5185
请问在printf打印函数中一般用什么形式打印变量内存地址： 答，最常用的打印地址方式是%p和0x%x。 int main() { int a; // a=4; printf("%p,%X",&a,&a); getch(); } 答案书上写的是%p打印出的地址自动在地址前加0x前缀，表示以16进制打印，而%x和%X没有这个前缀。地址中的字符大小写随x的大小写 但是结果悲剧了：
关于c语言指针用%s,%p打印
qq_43485816的博客
02-03 2863
p是把指针变量p中存储的a的地址以十六进制形式输出，%d是吧p中存储的a的地址以十进制形式输出。%s是根据首地址输出值，如果是*p则取得不是地址会出错，所以要用p。*p输出指针存的地址（变量）的值；p存的是（变量）地址。
指针打印%p
奋斗在路上的博客
02-01 1133
指针打印%p
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天天代码码天天

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值