本文将讲述，将 OpenCV 与 Matplotlib 相结合，可以充分利用两者的优势，实现丰富多彩的图像处理和数据可视化功能。本文将介绍几种有趣且实用的结合应用，并通过示例代码展示具体实现方式。在今后的博客中会扩展下面的十个基础实现以达到更好的应用效果。
目录
1. 基本图像显示与比较
Matplotlib 提供了强大的绘图和显示功能，相较于 OpenCV 的 cv2.imshow，它支持在 Jupyter Notebook 等环境中直接显示图像，并且可以同时显示多张图像，方便进行对比。
示例：显示原始图像与灰度图像
import cv2
import matplotlib.pyplot as plt
# 读取彩色图像
image = cv2.imread('example.jpg')
# 转换为灰度图像
gray_image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
# 将 BGR 图像转换为 RGB 格式
image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
# 创建子图进行显示
plt.figure(figsize=(10,5))
plt.subplot(1,2,1)
plt.imshow(image_rgb)
plt.title('Original Image')
plt.axis('off')
plt.subplot(1,2,2)
plt.imshow(gray_image, cmap='gray')
plt.title('Grayscale Image')
plt.axis('off')
plt.show()
效果： 该示例同时显示了原始彩色图像和转换后的灰度图像，便于直观比较。
2. 绘制图像直方图
图像直方图是反映图像像素分布的重要工具，结合 OpenCV 和 Matplotlib，可以轻松绘制彩色和灰度图像的直方图，帮助分析图像的亮度和对比度等特性。
示例：绘制彩色图像的直方图
import cv2
import matplotlib.pyplot as plt
# 读取图像
image = cv2.imread('example.jpg')
# 拆分通道
channels = cv2.split(image)
colors = ('b', 'g', 'r')
plt.figure(figsize=(10,5))
plt.title('Color Histogram')
plt.xlabel('Bins')
plt.ylabel('# of Pixels')
for (channel, color) in zip(channels, colors):
# 计算直方图
hist = cv2.calcHist([channel], [0], None, [256], [0, 256])
# 绘制直方图
plt.plot(hist, color = color)
plt.xlim([0, 256])
plt.show()
效果： 该示例分别绘制了蓝、绿、红三个通道的像素分布直方图，可用于分析图像的颜色分布情况。
3. 可视化图像处理步骤
在图像处理中，经常需要经过多步操作才能达到预期效果。通过 Matplotlib，可以将各个处理步骤的结果以图像形式展示，方便理解和调试。
示例：边缘检测的各个步骤展示
import cv2
import matplotlib.pyplot as plt
# 读取图像并转换为灰度
image = cv2.imread('example.jpg')
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
# 高斯模糊
blurred = cv2.GaussianBlur(gray, (5, 5), 0)
# 边缘检测
edges = cv2.Canny(blurred, 50, 150)
# 显示结果
titles = ['Original Image', 'Grayscale', 'Blurred', 'Canny Edges']
images = [cv2.cvtColor(image, cv2.COLOR_BGR2RGB), gray, blurred, edges]
plt.figure(figsize=(15,5))
for i in range(4):
plt.subplot(1,4,i+1)
plt.imshow(images[i], cmap='gray' if i > 0 else None)
plt.title(titles[i])
plt.axis('off')
plt.show()
效果： 该示例依次展示了原始图像、灰度图像、高斯模糊处理后的图像和最终的边缘检测结果，清晰地展示了处理流程。
4. 绘制轮廓与形状检测
通过 OpenCV 提取图像中的轮廓信息，并使用 Matplotlib 进行可视化，可以实现对图像中形状和物体的检测与标注。
示例：检测并绘制图像中的轮廓
import cv2
import matplotlib.pyplot as plt
# 读取图像并转换为灰度
image = cv2.imread('shapes.png')
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
# 二值化
ret, thresh = cv2.threshold(gray, 127, 255, cv2.THRESH_BINARY)
# 查找轮廓
contours, hierarchy = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
# 绘制轮廓
cv2.drawContours(image, contours, -1, (0, 255, 0), 3)
# 显示结果
plt.figure(figsize=(10,5))
plt.imshow(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))
plt.title('Detected Contours')
plt.axis('off')
plt.show()
效果： 该示例在原始图像上绘制了检测到的轮廓，绿色线条清晰地标出了各个形状的边界。
5. 特征点检测与匹配可视化
在计算机视觉中，特征点检测与匹配是关键步骤。利用 OpenCV 检测特征点，并用 Matplotlib 可视化匹配结果，可以直观地展示两张图像之间的对应关系。
示例：使用 ORB 算法进行特征点匹配并可视化
import cv2
import matplotlib.pyplot as plt
# 读取两张待匹配的图像
img1 = cv2.imread('image1.jpg', cv2.IMREAD_GRAYSCALE)
img2 = cv2.imread('image2.jpg', cv2.IMREAD_GRAYSCALE)
# 初始化 ORB 检测器
orb = cv2.ORB_create()
# 检测关键点并计算描述子
kp1, des1 = orb.detectAndCompute(img1, None)
kp2, des2 = orb.detectAndCompute(img2, None)
# 使用暴力匹配器进行匹配
bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
matches = bf.match(des1, des2)
# 按距离排序
matches = sorted(matches, key=lambda x: x.distance)
# 绘制前 20 个匹配结果
img_matches = cv2.drawMatches(img1, kp1, img2, kp2, matches[:20], None, flags=2)
# 显示结果
plt.figure(figsize=(15, 10))
plt.imshow(img_matches, cmap='gray')
plt.title('ORB Feature Matching')
plt.axis('off')
plt.show()
效果： 该示例展示了两张图像之间的特征匹配结果，直线连接了对应的特征点，方便观察匹配的准确性。
6. 绘制热力图与颜色映射
将图像数据转换为热力图形式，可以突出显示不同区域的特征强度。Matplotlib 提供了丰富的颜色映射选项，可以与 OpenCV 的图像数据轻松结合。
示例：显示图像的梯度强度热力图
import cv2
import matplotlib.pyplot as plt
import numpy as np
# 读取灰度图像
image = cv2.imread('example.jpg', cv2.IMREAD_GRAYSCALE)
# 计算梯度
sobelx = cv2.Sobel(image, cv2.CV_64F, 1, 0, ksize=5)
sobely = cv2.Sobel(image, cv2.CV_64F, 0, 1, ksize=5)
gradient_magnitude = np.sqrt(sobelx**2 + sobely**2)
# 显示热力图
plt.figure(figsize=(10,5))
plt.imshow(gradient_magnitude, cmap='hot')
plt.title('Gradient Magnitude Heatmap')
plt.axis('off')
plt.colorbar()
plt.show()
效果： 该示例将图像的梯度强度以热力图形式展示，高强度区域以暖色显示，突出边缘和纹理细节。
7. 在图像上叠加绘图元素
结合 Matplotlib 的绘图功能，可以在图像上叠加各种绘图元素，如曲线、文字、标记等，增强图像的表达力。
示例：在图像上绘制函数曲线和标注
import cv2
import matplotlib.pyplot as plt
import numpy as np
# 创建空白图像
image = np.zeros((500, 500, 3), dtype=np.uint8)
# 使用 Matplotlib 绘制正弦曲线并叠加到图像上
x = np.linspace(0, 4 * np.pi, 500)
y = 250 + 100 * np.sin(x)
plt.figure(figsize=(5,5))
plt.imshow(image)
plt.plot(x, y, color='yellow', linewidth=2)
plt.text(50, 50, 'Sine Wave', color='white', fontsize=15)
plt.axis('off')
plt.show()
效果： 该示例在黑色背景图像上绘制了黄色的正弦曲线，并添加了文字标注，展示了图像与绘图元素的融合。
8. 创建交互式可视化
利用 Matplotlib 的交互式功能，可以创建可调节参数的图像处理应用，实时观察参数变化对结果的影响。
示例：使用滑块调整图像阈值
import cv2
import matplotlib.pyplot as plt
from matplotlib.widgets import Slider
# 读取灰度图像
image = cv2.imread('example.jpg', cv2.IMREAD_GRAYSCALE)
# 初始阈值
initial_threshold = 127
# 创建图形和轴
fig, ax = plt.subplots()
plt.subplots_adjust(left=0.25, bottom=0.25)
thresholded = cv2.threshold(image, initial_threshold, 255, cv2.THRESH_BINARY)[1]
l = ax.imshow(thresholded, cmap='gray')
ax.set_title('Threshold Adjustment')
plt.axis('off')
# 创建阈值滑块
axcolor = 'lightgoldenrodyellow'
ax_threshold = plt.axes([0.25, 0.1, 0.65, 0.03], facecolor=axcolor)
threshold_slider = Slider(ax_threshold, 'Threshold', 0, 255, valinit=initial_threshold)
# 更新函数
def update(val):
threshold = threshold_slider.val
thresholded = cv2.threshold(image, threshold, 255, cv2.THRESH_BINARY)[1]
l.set_data(thresholded)
fig.canvas.draw_idle()
threshold_slider.on_changed(update)
plt.show()
效果： 该示例创建了一个带有滑块的交互式界面，用户可以通过滑动调整阈值，实时观察二值化结果的变化。
9. 视频帧的实时可视化
将 OpenCV 处理的视频帧与 Matplotlib 结合，可以实现对视频流的实时分析和可视化，适用于视频监控和实时检测等应用。
示例：实时显示摄像头视频并绘制帧差异
import cv2
import matplotlib.pyplot as plt
# 初始化摄像头
cap = cv2.VideoCapture(0)
# 初始化 Matplotlib
plt.ion()
fig, ax = plt.subplots()
ret, frame1 = cap.read()
ret, frame2 = cap.read()
while True:
# 计算帧差异
diff = cv2.absdiff(frame1, frame2)
gray = cv2.cvtColor(diff, cv2.COLOR_BGR2GRAY)
# 更新 Matplotlib 图像
ax.imshow(cv2.cvtColor(frame2, cv2.COLOR_BGR2RGB))
ax.set_title('Live Video Feed')
plt.pause(0.01)
ax.clear()
frame1 = frame2
ret, frame2 = cap.read()
if not ret:
break
cap.release()
plt.ioff()
plt.show()
效果： 该示例实时捕获摄像头视频，并在 Matplotlib 窗口中显示，每帧之间的差异可用于运动检测等应用。
10. 融合图像与数据分析
在处理包含数据信息的图像时，可以将图像内容与相关数据分析结果结合展示，提供更全面的可视化效果。
示例：在医学图像上叠加统计信息
import cv2
import matplotlib.pyplot as plt
import numpy as np
# 读取医学图像（如 MRI 扫描）
image = cv2.imread('mri_scan.jpg', cv2.IMREAD_GRAYSCALE)
# 计算图像中感兴趣区域的平均强度
roi = image[100:200, 100:200]
mean_intensity = np.mean(roi)
# 显示图像并叠加统计信息
plt.figure(figsize=(8,8))
plt.imshow(image, cmap='gray')
plt.title('MRI Scan')
plt.axis('off')
# 绘制 ROI 矩形
rect = plt.Rectangle((100,100), 100, 100, linewidth=2, edgecolor='r', facecolor='none')
plt.gca().add_patch(rect)
# 显示平均强度
plt.text(110, 220, f'Mean Intensity: {mean_intensity:.2f}', color='red', fontsize=12)
plt.show()
效果： 该示例在医学图像上标注了感兴趣区域，并显示了该区域的平均强度信息，辅助医学诊断和分析。
总结
通过将 OpenCV 强大的图像处理能力与 Matplotlib 丰富的绘图和可视化功能相结合，我们可以实现从简单的图像显示到复杂的数据分析和交互式应用等多种有趣且实用的功能。这种结合不仅增强了图像处理的直观性和可解释性，还拓展了计算机视觉应用的可能性。
在实践中，可以根据具体需求，灵活运用两者的功能，实现更加丰富多样的图像处理和数据可视化任务。
参考资料：
- OpenCV 官方文档: https://docs.opencv.org/
- Matplotlib 官方文档: https://matplotlib.org/stable/contents.html
注： 在运行上述示例代码前，请确保安装了相应的库，并准备好合适的图像文件。
大家可以采用清华源安装库如下：Simple Index
扫一扫
22万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
