背景替换(Bacground Replacement) python实现

Bacground Replacement

1.Upload two images, first image named image1 is your own photo, the second image is the background named image2 (image2 is larger than the pixel coordinates of image1)
2.Keep the person in image1 and replace the background of image1 with image2

for example:
You have your own photo like this:
The background image like this:
You need to achieve like this:

RGB

# Make a copy of the image
image_copy = np.copy(image)

#OpenCV 会读取 BGR 格式（而不是 RGB 格式）的图像，因为一开始开发 OpenCV 的时候，BGR 颜色格式对相机制造商和图像软件提供商来说很受欢迎。
#红色通道被认为是最不重要的颜色通道，因此列在最后面。但是，现在标准改变了，很多图像软件和相机都使用 RGB 格式

# Change color to RGB (from BGR)
image_copy_rgb = cv2.cvtColor(image_copy, cv2.COLOR_BGR2RGB)

# Display the image copy
plt.imshow(image_copy_rgb)

#定义颜色阈值
lower_blue = np.array([0,0,250]) 
upper_blue = np.array([250,250,255])

#创建遮罩
mask = cv2.inRange(image_copy_rgb, lower_blue, upper_blue)

# Vizualize the mask
plt.imshow(mask, cmap='gray')

masked_image_rgb = np.copy(image_copy_rgb)

masked_image_rgb[mask != 0] = [0, 0, 0]

# Display it!
plt.imshow(masked_image)
# Load in a background image, and convert it to RGB 
background_image = cv2.imread('img/10.jpeg')
# print(background_image.shape)
background_image_rgb = cv2.cvtColor(background_image, cv2.COLOR_BGR2RGB)

# Crop it to the right size (1482x988)
crop_background = background_image_rgb[0:1482, 0:988]

crop_background[mask == 0] = [0, 0, 0]

# Display the background
# plt.imshow(crop_background)

# Add the two images together to create a complete image!
complete_image = masked_image_rgb + crop_background

# Display the result
plt.imshow(complete_image)

HSV

HSV(hue,saturation,value)颜色空间的模型对应于圆柱坐标系中的一个圆锥形子集，圆锥的顶面对应于V=1. 它包含RGB模型中的R=1，G=1，B=1 三个面，所代表的颜色较亮。色彩H由绕V轴的旋转角给定。红色对应于 角度0° ，绿色对应于角度120°，蓝色对应于角度240°。在HSV颜色模型中，每一种颜色和它的补色相差180° 。 饱和度S取值从0到1，所以圆锥顶面的半径为１

HSV 颜色空间可以很好地把颜色信息和亮度信息分开，将它们放在不同的通道中，减小了光线对于特定颜色识别的影响

在阴影检测算法中经常需要将RGB格式的图像转化为HSV格式，对于阴影区域而言，它的色度和饱和度相对于原图像而言变化不大，主要是亮度信息变化较大，将RGB格式转化为HSV格式，就可以得到H、S、V分量，从而得到色度、饱和度、亮度

HSV空间颜色取指范围

# Change color to HSV (from BGR)
image_copy_hsv = cv2.cvtColor(image_copy, cv2.COLOR_BGR2HSV)

# Display the image copy
plt.imshow(image_copy_hsv)

#提取图片的蓝色
lower_hsv=np.array([100,43,46])
upper_hsv=np.array([124,255,255])
mask=cv2.inRange(image_copy_hsv,lowerb=lower_hsv,upperb=upper_hsv)
plt.imshow(mask, cmap='gray')
# cv2.imshow("mask",mask)

masked_image_hsv = np.copy(image_copy_hsv)

masked_image_hsv[mask != 0] = [0, 0, 0]

# Display it!
plt.imshow(masked_image_hsv)

# convert image it to HSV

# print(background_image.shape)
background_image_hsv = cv2.cvtColor(background_image, cv2.COLOR_BGR2HSV)

# Crop it to the right size (1482x988)
crop_background = background_image_hsv[0:1482, 0:988]

crop_background[mask == 0] = [0, 0, 0]
plt.imshow(crop_background)

# Add the two images together to create a complete image!
complete_image_hsv = masked_image_hsv + crop_background

# Display the result
plt.imshow(complete_image_hsv)

# Change color to RGB (from HSV)
complete_image_hsv = cv2.cvtColor(complete_image_hsv, cv2.COLOR_HSV2RGB)
# Display the result
plt.imshow(complete_image_hsv)

HSL

HSI色彩空间是从人的视觉系统出发，用色调(Hue)、色饱和度(Saturation或Chroma)和亮度 (Intensity或Brightness)来描述色彩。

在图像处理和计算机视觉中大量算法都可在HSI色彩空间中 方便地使用，它们可以分开处理而且是相互独立的。因此，在HSI色彩空间可以大大简化图像分析 和处理的工作量。

人的视觉对亮度的敏感程度远强于对颜色浓淡的敏感程度，为了便于颜色处理和识别，人的市局系统经常采用HSI彩色空间，它比RGB空间更符合人的视觉特性

HSL空间中亮度和色度具有可分离性，使得 图像处理和机器视觉中大量灰度处理算法 都可在HSI空间方便进行

提取白色物体时，使用 HLS 更方便，因为 HSV 中的Hue里没有白色，白色需要由S和V共同决定（S=0, V=100）。而在 HLS 中，白色仅由亮度L一个分量决定。所以检测白色时使用 HSL 颜色空间更准确

# Change color to HLS (from BGR)
image_copy_hls = cv2.cvtColor(image_copy, cv2.COLOR_BGR2HLS)

# Display the image copy
plt.imshow(image_copy_hls)

#提取图片的蓝色
lower_hls=np.array([100,43,46])
upper_hls=np.array([124,255,255])
mask=cv2.inRange(image_copy_hls,lowerb=lower_hls,upperb=upper_hls)
plt.imshow(mask, cmap='gray')

masked_image_hls = np.copy(image_copy_hls)

masked_image_hls[mask != 0] = [0, 0, 0]

# Display it!
plt.imshow(masked_image_hls)

# convert image it to HLS

# print(background_image.shape)
background_image_hls = cv2.cvtColor(background_image, cv2.COLOR_BGR2HLS)

# Crop it to the right size (1482x988)
crop_background = background_image_hls[0:1482, 0:988]

crop_background[mask == 0] = [0, 0, 0]
plt.imshow(crop_background)

# Add the two images together to create a complete image!
complete_image_hls = masked_image_hls + crop_background

# Display the result
plt.imshow(complete_image_hls)

# Change color to RGB (from HSV)
complete_image_hls = cv2.cvtColor(complete_image_hls, cv2.COLOR_HLS2RGB)
# Display the result
plt.imshow(complete_image_hls)

综上，三色彩空间都基本能实现目标，但由于背景色容易分离且容易观察，所以RGB方案更方便，其他两方案更适合其他场景且此题为最后成果的展现还需多次转换

源码地址

https://github.com/Xnhyacinth/xnhyacinth/tree/master/CV