深度学习笔记（六）---初识图像处理

以下笔记来源：

[1] . 《pytorch深度学习实战》

深度学习中图像处理函数的总结：

图像处理包括滤波，变换，图像插值，旋转，仿射，形态学的处理。一般我们常用的图像处理库有opencv，scipy，sickit，pillow等，其中opencv功能之强大，opencv-python的安装请查看：https://blog.csdn.net/qq_41997920/article/details/88741763

1.热点图

numpy.histogram2d() 可以在地图图片的网格中统计二维散列点的频度。

2 . 高斯滤波

高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。高斯滤波在图像处理概念下，将图像频域处理和时域处理相联系，作为低通滤波器使用，可以将低频能量（比如噪声）滤去，起到图像平滑作用。

import cv2
#两个回调函数
def GaussianBlurSize(GaussianBlur_size):
    global KSIZE
    KSIZE = GaussianBlur_size * 2 +3
    print KSIZE, SIGMA
    dst = cv2.GaussianBlur(scr, (KSIZE,KSIZE), SIGMA, KSIZE)
    cv2.imshow(window_name,dst)

3 . 图片翻转

openCv2 提供图像的翻转函数 getRotationMatrix2D 和 warpAffine

from __future__ import print_function
import os
import struct
import math
import numpy as np 
import cv2

def rotate(img,angle):
    height = img.shape[0]
    width = img.shape[1]
    if angle%180 ==0:
        scale = 1
    elif angle%90 ==0:
        scale = float(max(height,width))/min(height,width)
    else:
        scale = math.sqrt(pow(height,2)+pow(width,2))/min(height,width)

    #print 'scale %f\n' %scale
    rotateMat = cv2.getRotationMatrix2D((width/2,height/2),angle,scale)
    rotateImg = cv2.warpAffine(img,rotateMat,(width,height))
    return rotateImg 

image = cv2.imread("images\eye.jpg")
dst = rotate(image,60)
cv2.imshow("image1",image)
cv2.imshow("image2",dst)
cv2.waitKey()

4.轮廓检测

OpenCV2使用findContours()函数来查找检测物体的轮廓。

import cv2
img = cv2.imread('image/contour.jpg')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
ret, binary = cv2.threshold(gray,127,255,cv2.THRESH_BINARY)
contours, hierarchy = cv2.findContours(binary,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)
cv2.drawContours(img,contours,-1,(0,0,255),3)
cv2.imshow("img", img)
cv2.waitKey(0)

注：注意的是 cv2.findContours() 函数接受的参数为二值图，即黑白的（不是灰度图），所以读取的图像要先转成灰度的，再转成二值图。

5.角点

角点的定义和特性：

• 角点：是一类含有足够信息且能从当前帧和下一帧中都能提取出来的点。最普遍使用的角点的定义是由 Harris 提出的。

典型的角点检测算法：Harris 角点检测、CSS 角点检测。
好的角点检测算法的特点：

1、检测出图像中“真实的”角点；

2、准确的定位性能；

3、很高的重复检测率（稳定性好）；

4、具有对噪声的鲁棒性；

5、具有较高的计算效率。
Open 中的函数 cv2.cornerHarris(src, blockSize, ksize, k[, dst[,borderType]]) → dst 可以用来进行角点检测。参数如下：

• src – 数据类型为 float32 的输入图像。
• dst – 存储角点数组的输出图像，和输入图像大小相等。
• blockSize – 角点检测中要考虑的领域大小。
• ksize – Sobel 求导中使用的窗口大小。
• k – Harris 角点检测方程中的自由参数，取值参数为 [0,04，0.06]。
• borderType – 边界类型。

# coding=utf-8
import cv2
import numpy as np
'''Harris算法角点特征提取'''
img = cv2.imread('chess_board.png')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
gray = np.float32(gray)
# {标记点大小，敏感度（3~31,越小越敏感）}
# OpenCV函数cv2.cornerHarris() 有四个参数 其作用分别为 :
dst = cv2.cornerHarris(gray,2,23,0.04)
img[dst>0.01 * dst.max()] = [0,0,255]
cv2.imshow('corners',img)
cv2.waitKey()
cv2.destroyAllWindows()

6.直方图

OpenCV 给我们提供的函数是 cv2.calcHist()，该函数有 5 个参数：

• image：输入图像，传入时应该用中括号[]括起来。
• channels：传入图像的通道，如果是灰度图像，那就不用说了，只有一个通道，值为 0，如果是彩色图像（有 3 个通道），那么值为0,1,2 中选择一个，对应着 BGR 各个通道。这个值也得用 [] 传入。
• mask：掩膜图像。如果统计整幅图，那么为 none。主要是如果要统计部分图的直方图，就得构造相应的炎掩膜来计算。
• histSize：灰度级的个数，需要中括号，比如 [256]。
• ranges：像素值的范围，通常 [0,256]，有的图像如果不是 0-256，比如说你来回各种变换导致像素值负值、很大，则需要调整后才可以。

import cv2
import numpy as np
import matplotlib.pyplot as plt
img = cv2.imread('flower.jpg',0) #直接读为灰度图像
#opencv方法读取-cv2.calcHist（速度最快）
#图像，通道[0]-灰度图，掩膜-无，灰度级，像素范围
hist_cv = cv2.calcHist([img],[0],None,[256],[0,256])
#numpy方法读取-np.histogram()
hist_np,bins = np.histogram(img.ravel(),256,[0,256])
#numpy的另一种方法读取-np.bincount()（速度=10倍法2）
hist_np2 = np.bincount(img.ravel(),minlength=256)
plt.subplot(221),plt.imshow(img,'gray')
plt.subplot(222),plt.plot(hist_cv)
plt.subplot(223),plt.plot(hist_np)
plt.subplot(224),plt.plot(hist_np2)

直方图函数中掩膜的使用：掩膜就是一个区域大小，表示你接下来的直方图统计就是这个区域的像素统计

import cv2
import numpy as np
import matplotlib.pyplot as plt
img = cv2.imread('flower.jpg',0) #直接读为灰度图像
mask = np.zeros(img.shape[:2],np.uint8)
mask[100:200,100:200] = 255
masked_img = cv2.bitwise_and(img,img,mask=mask)
#opencv方法读取-cv2.calcHist（速度最快）
#图像，通道[0]-灰度图，掩膜-无，灰度级，像素范围
hist_full = cv2.calcHist([img],[0],None,[256],[0,256])
hist_mask = cv2.calcHist([img],[0],mask,[256],[0,256])
plt.subplot(221),plt.imshow(img,'gray')
plt.subplot(222),plt.imshow(mask,'gray')
plt.subplot(223),plt.imshow(masked_img,'gray')
plt.subplot(224),plt.plot(hist_full),plt.plot(hist_mask)

7.视频抽取图片

#视频中抽取图片
import cv2
cap = cv2.VideoCapture("images/test.mp4")
success,frame = cap.read()
index = 1
while success :
    index = index+1
    cv2.imwrite(str(index)+".png",frame)
    if index >20:
        break;
    success,frame = cap.read()
cap.release()

8.形态学处理

 morphology 模块实现二值图像处理。二值图像中的每个像素的颜色只有两种：黑色和白色，在 NumPy 中可以用二维布尔数组表示：False 表示黑色，True 表示白色。也可以用无符号单字节整型 (uint8) 数组表示：0 表示黑色，非 0 表示白色。

#二值图像处理
import numpy as np 
import matplotlib.pyplot as plt 
import cv2

def expand_image(img ,value,out=None,size=10):
    if out is None:
        w,h = img.shape
        out = np.zeros((w*size,h*size),dtype = np.uint8)
    tmp = np.repeat(np.repeat(img,size,0),size,1)
    out[:,:] = np.where(tmp,value,out)
    out[::size,:] = 0
    out[:,::size] = 0
    return out

def show_image(*imgs):
    for idx ,img in enumerate(imgs,1):
        ax = plt.subplot(1,len(imgs),idx)
        plt.imshow(img,cmap="gray")
        ax.set_axis_off()

plt.subplots_adjust(0.02,0,0.98,1,0.02,0)
plt.show()

9.膨胀和腐蚀

#膨胀和腐蚀
from scipy.ndimage import morphology
import matplotlib.pyplot as plt 
import numpy as np 
import cv2
def dilation_demo(a, structure=None):
    b = morphology.binary_dilation(a, structure)
    img = expand_image(a, 255)
    return expand_image(np.logical_xor(a,b), 150, out=img)

def expand_image(img ,value,out=None,size=10):
    if out is None:
        w,h = img.shape
        out = np.zeros((w*size,h*size),dtype = np.uint8)
    tmp = np.repeat(np.repeat(img,size,0),size,1)
    out[:,:] = np.where(tmp,value,out)
    out[::size,:] = 0
    out[:,::size] = 0
    return out

def show_image(*imgs):
    for idx ,img in enumerate(imgs,1):
        ax = plt.subplot(1,len(imgs),idx)
        plt.imshow(img,cmap="gray")
        ax.set_axis_off()

a = plt.imread("images\eye.jpg")[:,:,0].astype(np.uint8)
img1 = expand_image(a, 255)
img2 = dilation_demo(a)
img3 = dilation_demo(a, [[1,1,1],[1,1,1],[1,1,1]])
show_image(img1, img2, img3)