【python】OpenCV—Cartoonify and Portray（16）

参考来自

• 使用Python+OpenCV将照片变成卡通照片

1 卡通化

code

import cv2
import numpy as np


def edge_mask(img, line_size, blur_value):
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    gray_blur = cv2.medianBlur(gray, blur_value)
    edges = cv2.adaptiveThreshold(gray_blur, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY,
                                  line_size, blur_value,)
    return edges


def color_quantization(img, k):
    # transrorm the image
    data = np.float32(img).reshape((-1, 3))

    # determine criteria
    criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 20, 0.001)

    # implementing k-means
    ret, label, center = cv2.kmeans(data, k, None, criteria, 10, cv2.KMEANS_RANDOM_CENTERS)
    center = np.uint8(center)
    result = center[label.flatten()]
    result = result.reshape(img.shape)
    return result


if __name__ == "__main__":
    img = cv2.imread('2.jpg')

    line_size = 3
    blur_value = 3
    edges = edge_mask(img, line_size, blur_value)
    cv2.imwrite("edges.jpg", edges)

    total_color = 3
    img_quan_color = color_quantization(img, total_color)
    cv2.imwrite("img_quan_color.jpg", img_quan_color)

    blurred = cv2.bilateralFilter(img_quan_color, d=3, sigmaColor=200, sigmaSpace=200)
    cartton = cv2.bitwise_and(blurred, blurred, mask=edges)
    cv2.imwrite("cartton.jpg", cartton)

    # cv2.imshow("1", cartton)
    # cv2.waitKey(0)
    # cv2.destroyAllWindows()

输入图片

边缘

颜色量化

边缘和颜色量化合并

---

下面消融下一些细节配置

line_size 设置为 3~15

---

line_size = 3
blur_value 设置为 3~15

---

颜色量化

total_color = 3~15

越大颜色越丰富

---

双边滤波

d=3~15

cv2.medianBlur

该函数用于对图像进行中值滤波，主要用于消除图像中的椒盐噪声和脉冲噪声。它通过取邻域内所有像素值的中值来替代当前像素点的像素值，能够有效保护图像边缘信息，避免线性滤波器可能带来的图像细节模糊。

1）函数原型

dst = cv2.medianBlur(src, ksize)

2）参数说明

src：需要处理的图像，即源图像。图像可以具有任意数量的通道，这些通道可以独立处理。图像深度应为 CV_8U、CV_16U、CV_16S、CV_32F 或 CV_64F 中的一个。

ksize：滤波核的大小。滤波核大小是指在滤波处理过程中其邻域图像的高度和宽度。核大小必须是比 1 大的奇数，例如 3、5、7 等。

3）返回值

dst：进行中值滤波后得到的处理结果，与源图像 src 的尺寸和类型相同。

4）使用注意事项

在进行滤波时，应注意 ksize 参数的选择。过小的 ksize 可能无法有效去除噪声，而过大的 ksize 则可能导致图像细节损失。

由于中值滤波是非线性的，它可能无法处理一些非线性噪声。

中值滤波对于去除椒盐噪声和脉冲噪声特别有效，但对于其他类型的噪声可能效果有限。

cv2.adaptiveThreshold

该函数用于对图像进行自适应阈值处理，即根据图像的局部区域来计算阈值，并应用这个阈值对图像进行二值化。这种处理方式特别适用于光照不均匀的图像。

1）函数原型

dst = cv2.adaptiveThreshold(src, maxValue, adaptiveMethod, thresholdType, blockSize, C)

2）参数说明

src：输入图像，必须是单通道图像（灰度图像）。

maxValue：阈值化后的最大值。当满足条件时，像素值将被设置为 maxValue，否则为 0。

adaptiveMethod：自适应阈值算法的选择。

• cv2.ADAPTIVE_THRESH_MEAN_C：使用相邻区域的平均值减去常数 C 作为阈值。
• cv2.ADAPTIVE_THRESH_GAUSSIAN_C：使用相邻区域的加权和（高斯加权）减去常数 C 作为阈值。

thresholdType：二值化类型。

• cv2.THRESH_BINARY：大于阈值的像素值设置为 maxValue，小于等于阈值的像素值设置为 0。
• cv2.THRESH_BINARY_INV：与 cv2.THRESH_BINARY 相反。

blockSize：用于计算阈值的邻域大小（必须是正奇数）。例如，3、5、7 等。

C：从计算出的阈值中减去的常数，通常为正数。

3）返回值

dst：自适应阈值处理后的输出图像，与输入图像 src 的尺寸相同，但类型为二值图像。

4）注意事项

自适应阈值处理可以有效地处理光照不均匀的图像，因为它会根据每个像素的局部邻域来动态计算阈值。

blockSize 参数决定了计算阈值时考虑的邻域大小，可以根据图像的具体情况选择。

C 参数用于调整最终的阈值，可以根据需要进行调整。

cv2.kmeans

该函数用于执行 K-Means 聚类算法，将输入数据划分为 K 个集群，并返回每个数据点的集群标签和集群的质心。

1）函数原型
retval, labels, centers = cv2.kmeans(data, K, None, criteria, 10, cv2.KMEANS_RANDOM_CENTERS)

2）参数说明

data：输入数据，通常是 NumPy 数组，其形状为 (N, M)，其中 N 是数据点的数量，M 是每个数据点的维数。

K：需要划分的集群数量。

termCriteria：终止条件，通常是一个元组，包含三个参数 (type, maxIter, epsilon)。其中 type 可以是 cv2.TERM_CRITERIA_EPS、cv2.TERM_CRITERIA_MAX_ITER 或它们的组合（使用按位或运算符 | 连接），maxIter 是最大迭代次数，epsilon 是收敛的精度要求。

attempts：算法尝试的次数。算法使用不同的初始标签集进行多次运行，并返回最佳结果。这个参数指定了尝试的次数。

flags：初始化质心的方法。目前唯一可用的标志是 cv2.KMEANS_RANDOM_CENTERS，它使用随机值初始化质心。

centers（可选）：用于传递预定义的质心数组。如果不提供，则会根据 flags 参数随机初始化质心。

3）返回值

retval：迭代次数。算法执行的实际迭代次数。

labels：每个数据点的集群标签。形状为 (N,) 的 NumPy 数组，其中 N 是数据点的数量。

centers：集群的质心。形状为 (K, M) 的 NumPy 数组，其中 K 是集群的数量，M 是数据点的维数。

4）使用注意事项

在使用 K-Means 算法时，选择合适的 K 值非常重要。K 值过小可能无法充分描述数据的分布，而 K 值过大可能导致过拟合。

由于 K-Means 算法是随机的，每次运行的结果可能略有不同。为了获得更稳定的结果，可以多次运行算法并取平均结果。

数据的预处理（如缩放、归一化）对 K-Means 算法的性能和结果有重要影响。确保在输入数据之前进行适当的预处理。

cv2.bilateralFilter

该函数使用双边滤波算法对图像进行平滑处理，去除噪声的同时保留边缘信息。

1）函数原型

dst = cv2.bilateralFilter(src, d, sigmaColor, sigmaSpace[, dst[, borderType]])

2）参数说明

src：输入图像，应为8位或浮点型、1通道或3通道图像。

d：滤波时考虑的像素直径（不是半径）。对于较大的值，该滤波器将不会有太大差异，但会增加计算时间。它可以是大于1的整数，但通常建议使用不超过15的值。

sigmaColor：颜色空间的标准差。一个较大的值意味着像素邻域内有较大颜色变化的像素能够影响到滤波器的中心像素。这有助于在平滑图像时保留边缘。

sigmaSpace：坐标空间的标准差（以像素为单位）。如果参数值较大，那么只有在像素坐标空间中距离足够近的像素才会影响中心像素的值。这有助于在平滑图像时保留边缘。

dst（可选）：输出图像，与源图像具有相同的尺寸和类型。

borderType（可选）：像素外推法，决定如何处理边界像素。默认值为 cv2.BORDER_DEFAULT。

3）返回值

dst：滤波后的图像，与源图像具有相同的尺寸和类型。

4）使用注意事项

d 参数的选择：虽然较大的值可能不会显著改变滤波器的效果，但会增加计算时间。因此，在实际应用中，通常建议使用较小的值（如15或更小）。

sigmaColor 和 sigmaSpace 的选择：这两个参数共同决定了双边滤波器的行为。较大的 sigmaColor 值允许颜色变化较大的像素影响中心像素，而较大的 sigmaSpace 值则限制了仅在空间距离较近的像素才能影响中心像素。根据具体的应用场景，可能需要调整这两个参数的值以达到最佳效果。

边缘保留：与其他线性滤波方法（如高斯滤波）相比，双边滤波能够在平滑图像的同时更好地保留边缘信息。这是因为双边滤波在考虑像素之间的空间距离之外，还考虑了像素之间的灰度值相似性。

2 漫画风

代码来自 https://mp.weixin.qq.com/s/6q5AZRhLKlu1yqf3PTPkHQ

理论

import cv2

def Pic2Cartton(path):
    downsampleNum = 2  # 金字塔下采样
    bilateralNum = 7  # 双边滤波
    img = cv2.imread(path)
    shape = tuple(list(((i // 4) * 4 for i in img.shape))[:2])[::-1]
    img = cv2.resize(img, dsize=shape)
    imgColor = img

    # 通过不断的双边滤波来降低色彩的数量
    for i in range(downsampleNum):
        imgColor = cv2.pyrDown(imgColor)
    for i in range(bilateralNum):  # 利用较小的核不断进行双边滤波，减少图片颜色
        imgColor = cv2.bilateralFilter(imgColor, d=9, sigmaColor=5, sigmaSpace=7)
    for i in range(downsampleNum):
        imgColor = cv2.pyrUp(imgColor)

    # 开始寻找轮廓
    imgBinary = cv2.cvtColor(img, cv2.COLOR_RGB2GRAY)
    imgMedianBlur = cv2.medianBlur(imgBinary, 7)  # 中值滤波去除噪点
    imgContour = cv2.adaptiveThreshold(imgMedianBlur,
                                       255,
                                       cv2.ADAPTIVE_THRESH_GAUSSIAN_C,
                                       cv2.THRESH_BINARY,
                                       blockSize=9,
                                       C=2)  # 二值化
    imgContour = cv2.cvtColor(imgContour, cv2.COLOR_GRAY2RGB)
    cv2.imwrite("C://Users/Administrator/Desktop/2.jpg", imgContour)
    img_cartoon = cv2.bitwise_and(imgColor, imgContour)  # 采用与操作，边缘保留褐色，其它case
    cv2.imwrite("C://Users/Administrator/Desktop/3.jpg", img_cartoon)


Pic2Cartton("C://Users/Administrator/Desktop/1.jpg")

3 肖像画

import cv2

import os
# print(os.listdir("../../datasets/human_Wild_public/images/mpii_029329465.jpg"))
img = cv2.imread("C://Users/Administrator/Desktop/1.jpeg")

gray_img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
invert_g_i = 255 - gray_img

blurred_i_g_i = cv2.GaussianBlur(invert_g_i, (19, 19), 0)

invert = 255 - blurred_i_g_i

sketck = cv2.divide(gray_img, invert, scale=256.0)
cv2.imwrite("C://Users/Administrator/Desktop/2.jpeg", sketck)

# cv2.imshow("ori", img)
# cv2.imshow("pencil sketch", sketck)
# cv2.waitKey(0)

原图

灰度图

反向灰度图

求模糊

反回来

肖像画

cv2.divide

执行两个数组（图像）的逐元素相除操作。

1）函数原型

dst = cv2.divide(src1, src2[, dst[, scale[, dtype[, mask]]]])

2）参数说明

src1：第一个输入数组（通常是图像）。

src2：第二个输入数组（通常是图像），其元素将用作除数。

dst（可选）：输出数组，与 src1 具有相同的尺寸和通道数。

scale（可选）：可选的缩放因子。如果指定了，则结果将乘以这个值。默认值为 1。

dtype（可选）：输出数组的可选深度。默认与输入数组的深度相同。

mask（可选）：可选的 8 位单通道数组，用于指定哪些元素需要参与计算。

3）返回值

dst：输出数组，包含 src1 数组的元素与 src2 数组的元素相除的结果（如果提供了 scale，则乘以 scale）。

4）使用注意事项

如果 src2 中的任何元素为零，则结果将是未定义的（在浮点数中可能是 NaN 或无穷大）。因此，在使用 cv2.divide 之前，确保 src2 中没有零元素，或者准备处理可能出现的异常情况。

mask 参数允许你选择性地执行逐元素除法，只影响那些 mask 中对应位置为真的元素。