项目来源：河北大学计算机视觉课程-杨老师.
一共有四个标题，本篇博客只完成前两问。
目录
实验目的:
1．掌握物体分类模型中的决策树模型和SVM模型；
3．掌握利用Matlab/Python进行物体分类的方法；
3．设计Matlab/Python程序，实现一个水果分级系统。
在本项目中，我选择Python。
实验内容：
1．对输入的水果图片进行分割，得到水果的目标图像。
2．设计特征提取方法，实现对水果目标的特征提取，产生特征向量；
3．利用得到的特征向量，设计决策树实现水果分级；
4．用带标签的特征集训练SVM，设计基于SVM的水果分级系统。
实验步骤：
1．水果图像的分割
设计合理的分割算法，实现对单个水果的分割；分割之前需要进行图像增强。
2．目标的特征提取
设计合理的特征提取方法，实现对水果目标的特征提取（如：颜色特征、形状特征、纹理特征等），产生特征向量；
注：是否需要进行特征选择，需根据实际情况做出选择。
根据当前水果目标的实际情况，给特征向量添加标签，以便产生训练样本集。
1.水果图像的分割
代码：
import cv2
import numpy as np
#图像增强，调整alpha（对比度因子）和beta（亮度加成）来增强图像
def enhance_image(image, alpha, beta):
"""
alpha :对比度
beta :亮度
"""
#np.clip确保像素值在0到255的范围内
new_image = np.clip(alpha * image + beta, 0, 255)
#将结果转换为8位无符号整数类型
return new_image.astype(np.uint8)
#图像分割函数，使用HSV颜色空间和颜色阈值来分割图像中的水果。
def segment_fruit(image):
# BGR图像转换为HSV色彩空间
# HSV色彩空间包含三个通道 Hue色调、饱和度Saturation、明度Value
hsv_image = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
# 设置苹果颜色的HSV阈值范围来检测苹果的颜色，范围可调整
# 第一组为检测较浅的红色或橙色
lower_red = np.array([0, 50, 50])
upper_red = np.array([10, 255, 255])
# 第二组为检测较深的红色
lower_red2 = np.array([170, 50, 50])
upper_red2 = np.array([180, 255, 255])
# 创建颜色掩模，两个掩模分别表示图像中属于指定颜色范围的区域
# mask是二值图像，保留白色像素，丢弃黑色像素
mask1 = cv2.inRange(hsv_image, lower_red, upper_red)
mask2 = cv2.inRange(hsv_image, lower_red2, upper_red2)
# 合并红色区域的两个不同范围的掩模
mask = mask1 + mask2
# 二值掩模中，相加操作等同逻辑“或”操作
# 只要任一掩模为白色（即值为255）,合并后的掩模在该位置也为白色
# 应用掩模获取最终结果
result = cv2.bitwise_and(image, image, mask=mask)
# bitwise_and()：将原始BGR图像与其自身进行按位与操作,使用合并后的掩模作为条件
# 这样，只有掩模中为白色的区域（即检测到的颜色区域）会保留在结果图像中，其余区域将变为黑色。
# 返回应用掩模后得到的图像,只包含检测到的颜色区域
return result
# 加载图像
image_path = 'apple.jpg' #图片路径
image = cv2.imread(image_path)
image = cv2.resize(image, (350, 350)) # 调整图像大小
# 图像增强
alpha = 1.5 #对比度
beta = 50 #亮度
enhanced_image = enhance_image(image,alpha,beta)
# 图像分割
segmented_image = segment_fruit(enhanced_image)
# 显示结果
cv2.imshow('Original Image', image)
cv2.imshow('Enhanced Image', enhanced_image)
cv2.imshow('Segmented Image', segmented_image)
cv2.waitKey(0) #等待用户按键
cv2.destroyAllWindows() #关闭所有OpenCV窗口运行结果:
观察结果，发现苹果图像被增强后，原本是红色的部分被反光成白面，反光面的颜色阈值超出了我们所设定的范围，这就导致在进行图像分割时，原本属于苹果的部分被掩膜图像覆盖掉，被丢弃了。
>掩膜图像Mask 是什么？
什么是图像中的掩膜(Mask)，如何使用掩码_图像掩膜-CSDN博客
推荐一篇很好的博客。
掩膜定义：掩膜通常是一个与原始图像大小相同的二值或布尔图像，选定的区域被标记为1（或True），其余区域被标记为0（或False）。
用途：当对图像应用一个操作时，掩膜可以用来限制这个操作只在图像的特定区域内发生，提取感兴趣区，感兴趣区内图像值保持不变，而区外图像值都为0。
实现方式：编程时，掩膜通常是一个数组或矩阵，其大小与原图像相同。使用掩膜时，只处理掩膜数组中值为1（或True）的对应像素，而忽略值为0（或False）的像素。
简单来说，掩膜实现了只关注感兴趣区域内的图像部分，需要的留下来(像素值非0)；不需要的就“丢弃”掉，像素值为0。 所以掩膜图像一般呈现黑白色。
在代码中输出Mask图像:
>改进:去除反光部分的影响
以下是去除反光部分的一些方法：
- 图像预处理：
- 平滑处理：使用高斯模糊或其他平滑滤波器来减少图像中的噪声和细节，有助于减少反光造成的边缘效应。
- 直方图均衡化：增强图像的对比度，使得反光区域和水果其他部分的对比度更加明显。
- 色彩空间转换：将图像从RGB色彩空间转换到HSV、Lab或其他色彩空间，以便更好地分离颜色和亮度信息。在HSV色彩空间中，可调整V（亮度）通道以减少反光的影响。
- 反光区域检测：
- 阈值处理：根据亮度或色彩差异，通过设定阈值来检测并标记反光区域。
- 形态学操作：使用膨胀、腐蚀等形态学操作来增强或消除反光区域的特征。
- 边缘检测：利用反光区域通常具有较明显的边缘特征，通过边缘检测算法来识别反光区域。
- 反光区域修复：
- 插值：在检测到反光区域后，可以使用周围像素的插值来替换或修复这些区域。
- 区域填充：如果反光区域是连续的，可以使用区域填充算法来填充这些区域，并用周围像素的平均值或其他方法来替代。
- 图像修复技术：使用更高级的图像修复技术，如基于样本的图像修复或深度学习方法，来修复反光区域。
- 特征提取和分割：
- 使用颜色、纹理和形状特征：提取用于分割的特征时，考虑使用颜色、纹理和形状等多种特征，以更好地描述水果和反光区域的差异。
- 深度学习：使用深度学习技术训练模型，该模型能够识别并分割水果图像中的反光区域，需大量的标记数据来训练模型。
- 后处理：
- 优化分割结果：使用形态学操作、阈值处理或其他技术来优化分割结果，以减少反光区域对分割结果的影响。
- 人工检查：对于重要的应用或需要高精度分割的场景，可以引入人工检查步骤来验证和校正分割结果。
我的方法：尝试调整HSV色彩空间中的参数，降低对比度alpha和亮度beta参数的值:
运行一遍，效果好很多，反光部位大部分被检测到了：
2．目标的特征提取
选取一张苹果图片，对它进行颜色特征和形状特征的提取，并且生成特征向量，并添加标签。
代码：
import cv2
# 提取图像的颜色特征，使用颜色直方图。
def extract_color_features(image):
# 计算三个颜色通道的直方图并将其展平
color_features = []
#遍历图像的BGR三个颜色通道（蓝、绿、红）
for i in range(3): # BGR三个通道
# cv2.calcHist函数计算颜色直方图
# 直方图的bin数量为256（像素值范围0-255），且范围是[0, 256]
hist = cv2.calcHist([image], [i], None, [256], [0, 256])
#将计算得到的每个通道的直方图展平 二维 -> 一维 ，添加到color_features中
color_features.extend(hist.flatten())
#查看hist的类型，为一维列表
#print('hist type:',type(hist))
# 返回包含颜色通道直方图的color_features列表
return color_features
# 提取图像的形状特征，使用Canny边缘检测和Hu矩。
def extract_shape_features(image):
# 使用Canny算法检测边缘，100和200是Canny算法中的双阈值，用于确定哪些边缘应被保留
edges = cv2.Canny(image, 100, 200)
# cv2.moments计算边缘图像的空间矩,述了边缘图像的形状特性
moments = cv2.moments(edges) # 使用Hu矩提取形状特征
# cv2.HuMoments从空间矩中计算Hu矩
# Hu矩是一组七个数值，它们对于图像的缩放、旋转和平移是不变的，常用于形状识别
hu_moments = cv2.HuMoments(moments).flatten()
return hu_moments.tolist() #计算得到的Hu矩展平并转换为列表 并返回
# 生成特征向量并添加标签。
def create_feature_vector(image, label):
color_features = extract_color_features(image) # 颜色特征
shape_features = extract_shape_features(image) # 形状特征
#查看一下颜色特征和形状特征的长度
print("color_features size:", len(color_features))
print("shape_features size:", len(shape_features))
feature_vector = color_features + shape_features
feature_vector.append(label) # 添加标签
return feature_vector
# 加载图像
image_path = 'apple.jpg'
image = cv2.imread(image_path)
image = cv2.resize(image, (350, 350)) # 调整图像大小
# 生成特征向量
label = 1 # 添加标签
feature_vector = create_feature_vector(image, label)
# 输出特征向量
print("Feature vector size:", len(feature_vector))
print("Sample of feature vector:", feature_vector[:10]) # 展示部分特征向量运行结果，结果展示了所提取出的颜色特征和形状特征向量的长度(一维)，以及部分特征总向量，同时对所读取的图片添加了标签lable：
>Canny算子？
数字图像处理(20): 边缘检测算子(Canny算子)_canny算子公式-CSDN博客
在网上偶然看到了以为大牛的代码，展现了Canny算子对于图像处理的效果，同时也对图像进行了高斯去噪：
import cv2
import matplotlib.pyplot as plt
# 用来正常显示中文标签
plt.rcParams['font.sans-serif'] = ['SimHei']
# 读取图像
img = cv2.imread('apple.jpg')
img_RGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 转成RGB 方便后面显示
grayImage = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 灰度处理
gaussianBlur = cv2.GaussianBlur(grayImage, (3, 3), 0) # 高斯滤波
# 阈值处理
ret, binary = cv2.threshold(gaussianBlur, 127, 255, cv2.THRESH_BINARY)
# Canny算子
Canny = cv2.Canny(gaussianBlur, 50, 150)
'''
# Roberts算子
kernelx = np.array([[-1, 0], [0, 1]], dtype=int)
kernely = np.array([[0, -1], [1, 0]], dtype=int)
x = cv2.filter2D(binary, cv2.CV_16S, kernelx)
y = cv2.filter2D(binary, cv2.CV_16S, kernely)
absX = cv2.convertScaleAbs(x)
absY = cv2.convertScaleAbs(y)
Roberts = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)
# Prewitt算子
kernelx = np.array([[1, 1, 1], [0, 0, 0], [-1, -1, -1]], dtype=int)
kernely = np.array([[-1, 0, 1], [-1, 0, 1], [-1, 0, 1]], dtype=int)
x = cv2.filter2D(binary, cv2.CV_16S, kernelx)
y = cv2.filter2D(binary, cv2.CV_16S, kernely)
absX = cv2.convertScaleAbs(x)
absY = cv2.convertScaleAbs(y)
Prewitt = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)
# Sobel算子
x = cv2.Sobel(binary, cv2.CV_16S, 1, 0)
y = cv2.Sobel(binary, cv2.CV_16S, 0, 1)
absX = cv2.convertScaleAbs(x)
absY = cv2.convertScaleAbs(y)
Sobel = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)
# Laplacian算子
dst = cv2.Laplacian(binary, cv2.CV_16S, ksize=3)
Laplacian = cv2.convertScaleAbs(dst)
'''
#显示图形
plt.subplot(131), plt.imshow(img_RGB), plt.title('原始图像'), plt.axis('off') # 坐标轴关闭
plt.subplot(132), plt.imshow(gaussianBlur),plt.title('高斯滤波后图像'),plt.axis('off')
plt.subplot(133), plt.imshow(Canny, cmap=plt.cm.gray), plt.title('Canny算子'), plt.axis('off')
plt.show()运行结果，可以看到图像在进行高斯滤波后和Canny边缘检测后的效果：
>图像矩 Hu矩阵 是什么？
图像或轮廓的Hu矩的定义、优缺点、适用范围,并利用OpenCV的函数HuMoments()和matchShapes()实现Hu矩的计算和轮廓匹配-CSDN博客
图像的hu矩是一种具有平移、旋转和尺度不变性的图像特征。因此在图像具有旋转和放缩的情况下Hu矩具有更广泛的应用领域。
各阶矩的物理意义：
普通矩：
0阶矩（m00）:目标区域的质量
1阶矩（m01,m10）：目标区域的质心
2阶矩（m02,m11,m20）：目标区域的旋转半径
3阶矩（m03,m12,m21,m30）：目标区域的方位和斜度，反应目标的扭曲但是目标区域往往伴随着空间变换（平移，尺度，旋转），所以需要在普通矩的基础上构造出具备不变性的矩组—hu矩。
接下来的实验步骤，需要对水果图像数据集进行分级，如根据水果的大小分为4级，可以使用决策树、SVM、神经网络等机器学习分类算法。下一章博客再更新。
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
