(一)OpenCV中的GUI特性

注释：本文翻译自OpenCV3.0.0 document->OpenCV-Python Tutorials

1.OpenCV中的GUI特性

1.1从图像开始

1.1.1目标：

• 在这里，你会学习如何读取图像、显示图像并保存它
• 你会学习这些函数：cv2.imread()、cv2.imshow()、cv2.imwrite()
• 另外，你还会学习如何用Matplotlib显示图像

读取图像：

用cv2.imread()函数读取图像，第一个参数是图像所在路径，图像应该在工作目录中，或者应该给出图像的完整路径；

第二个参数是指定图像应该被读取的方式的标志.

• cv2.IMREAD_COLOR：加载彩色图像，任何图像的透明度都将被忽略。它是默认的标志
  
• cv2.IMREAD_GRAYSCALE ：以灰度模式加载图像
  
• cv2.IMREAD_UNCHANGED：加载图像，包括alpha通道
  

备注：以上三个flag，也可以分别用1，0，-1代替

示例代码：

import numpy as np
import cv2

#以灰度模式加载图像
img = cv2.imread('messi5.jpg',0)

1.1.2显示图像：

用函数cv2.imshow()在窗口显示图像，窗口大小自适应图像尺寸。函数的第一个参数是一个字符串窗口的名称，第二个参数是图像。可以根据需要创建多个窗口，但注意以不同名称命名。

cv2.imshow('image',img)
cv2.waitKey(0)   #等待任意键按下
cv2.destroyAllWindows()  #销毁所有窗口

cv2.waitKey()是一个键盘绑定函数，它的参数是以毫秒为单位的时间。该函数等待任何键盘事件指定的毫秒。如果在该时间按任意键，程序继续。如果0通过，那么它将无限期地等待一个关键的进程。当然也可以设置检测指定按键，如‘a’等。

cv2.destroyAllWindows（）只是摧毁了我们创建的所有窗口。 如果要销毁任何特定的窗口，请使用函数cv2.destroyWindow（），将准确的窗口名称作为参数传递给函数。

备注:注意有一种特殊情况，可以在此创建一个窗口并稍后加载图像。 在这种情况下，可以是否可调整指定窗口大小。 它使用函数cv2.namedWindow（）完成。 默认情况下，该标志是cv2.WINDOW_AUTOSIZE。 但是如果指定标志为cv2.WINDOW_NORMAL，则可以调整窗口大小。 当图像的尺寸太大并且向窗口添加轨迹栏时，是可以的。

cv2.namedWindow('image', cv2.WINDOW_NORMAL)
cv2.imshow('image',img)
cv2.waitKey(0)
cv2.destroyAllWindows()

1.1.3写图像：

用cv2.imwrite()保存图像，第一个参数是文件名称，第二个参数是想要保存的图像。

cv2.imwrite('messigray.png',img)

总结：下面这个例子会以.PNG格式保存图像到工作空间

import numpy as np
import cv2

img = cv2.imread('messi5.jpg',0)
cv2.imshow('image',img)
k = cv2.waitKey(0) & 0xFF
if k == 27:         # wait for ESC key to exit
    cv2.destroyAllWindows()
elif k == ord('s'): # wait for 's' key to save and exit
    cv2.imwrite('messigray.png',img)
    cv2.destroyAllWindows()

1.1.4使用Matplotlib：

Matplotlib是Python的绘图库，提供了各种绘图方法。  在这里，可以学习如何使用Matplotlib显示图像，还可以使用Matplotlib缩放图像，保存等。

代码示例：

import numpy as np
import cv2
from matplotlib import pyplot as plt

img = cv2.imread('messi5.jpg',0)
plt.imshow(img, cmap = 'gray', interpolation = 'bicubic')
plt.xticks([]), plt.yticks([])  # 隐藏x和y坐标上的刻度值
plt.show()

注意：OpenCV加载的彩色图像为BGR模式。 但Matplotlib以RGB模式显示。 因此，如果使用OpenCV读取图像，则Matplotlib中的彩色图像将无法正确显示。 可参考Matplotlib官方文档。

1.2从视频开始

1.2.1目标

• 学习阅读视频，显示视频并保存视频。
• 学习从相机捕获并显示它。
• 您将学习这些功能：cv2.VideoCapture（），cv2.VideoWriter（）

1.2.2从相机捕获视频：

通常，我们必须用相机捕获直播。 OpenCV为此提供了一个非常简单的界面。 让我们从相机中拍摄一个视频（我正在使用笔记本电脑的内置网络摄像头），将其转换为灰度视频并显示。 
要捕获视频，需要创建一个VideoCapture对象。 其参数可以是设备索引或视频文件的名称。 设备索引只是指定哪个相机的数字。 通常一个相机将被连接（如我的情况）。 所以我只是通过0（或-1）。 您可以通过1选择第二台相机，依此类推。 之后，可以逐帧捕获。 但最后，别忘了释放捕获。

示例代码：

import numpy as np
import cv2

cap = cv2.VideoCapture(0)

while(True):
    # 逐帧捕获
    ret, frame = cap.read()

    # 图像灰度化
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    # 显示结果
    cv2.imshow('frame',gray)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# 最后释放捕获
cap.release()
cv2.destroyAllWindows()

cap.read（）返回一个bool（True / False）。 如果frame正确读取，则为True。 因此，您可以通过检查该返回值来查看是否到达视频的结尾。

有时候，cap可能没有初始化捕获。 在这种情况下，此代码显示错误。 您可以通过cap.isOpened（）方法检查是否已初始化。 如果是True，OK。 否则使用cap.open（）打开它。还可以使用cap.get（propId）方法访问此视频的一些功能，其中propId是从0到18的数字。每个数字表示视频的属性（如果适用于该视频）。 这些值中的一些可以使用cap.set（propId，value）进行修改。 价值是你想要的新价值。
例如，我可以通过cap.get（3）和cap.get（4）来检查帧宽度和高度。 默认情况下给我640x480。 但是我想将其修改为320x240。 只需使用ret = cap.set（3,320）和ret = cap.set（4,240）。

1.2.3 从文件播放视频

与Camera相似，只需用摄像机名称更改摄像机索引。 同时显示帧时，请使用适当的时间为cv2.waitKey（）。 如果它太少，视频将非常快，如果它太高，视频将会慢（那就是如何以慢动作显示视频）。 一般情况下25毫秒都可以。

示例代码：

import numpy as np
import cv2

cap = cv2.VideoCapture('vtest.avi')

while(cap.isOpened()):
    ret, frame = cap.read()

    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    cv2.imshow('frame',gray)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

注意：确保安装了正确的ffmpeg或gstreamer版本。 有时候，由于ffmpeg / gstreamer的安装错误，使用视频捕获技术很麻烦。

1.2.4 保存视频

所以我们拍摄一个视频，逐帧处理，我们想保存该视频。对于图像，它非常简单，只需使用cv2.imwrite（）。这里需要更多的工作。
这次我们创建一个VideoWriter对象。我们应该指定输出文件名（例如：output.avi）。那么我们应该指定FourCC代码（下一段的细节）。那么应该传递每秒帧数（fps）和帧大小。最后一个是isColor标志。如果为True，编码器需要色框，否则可以使用灰度帧。

FourCC是用于指定视频编解码器的4字节代码。可用的代码列表可以在fourcc.org中找到。

在Fedora：DIVX，XVID，MJPG，X264，WMV1，WMV2。 （XVID是更优选的，MJPG导致高尺寸视频，X264提供非常小的视频）
在Windows中：DIVX（更多待测试和添加）
FourCC代码作为MvPV传递为cv2.VideoWriter_fourcc（'M'，'J'，'P'，'G'）或cv2.VideoWriter_fourcc（*'MJPG）。

下面的代码从摄像机捕获，在垂直方向上翻转每一帧并保存。

import numpy as np
import cv2

cap = cv2.VideoCapture(0)

# Define the codec and create VideoWriter object
fourcc = cv2.VideoWriter_fourcc(*'XVID')
out = cv2.VideoWriter('output.avi',fourcc, 20.0, (640,480))

while(cap.isOpened()):
    ret, frame = cap.read()
    if ret==True:
        frame = cv2.flip(frame,0)

        # write the flipped frame
        out.write(frame)

        cv2.imshow('frame',frame)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    else:
        break

# Release everything if job is finished
cap.release()
out.release()
cv2.destroyAllWindows()

1.3OpenCV中的绘图函数

1.3.1 目标

• 使用OpenCV绘制不同的几何形状
• 学习这些函数：cv2.line()、cv2。circle()、cv2.rectangle()、cv2.ellipse()、cv2.putText()等

在所有上述函数中，将看到一些常见的参数如下：

• img：要绘制形状的图像
• 颜色：形状的颜色。 对于BGR，将其作为元组传递，例如：（255,0,0）为蓝色。 对于灰度，只需传递标量值。
• 厚度：线或圆的厚度等。如果为了封闭图形，如圆形通过-1，它将填充形状。 默认厚度= 1
• lineType：线路类型，无论是8连接，抗锯齿线路等。默认情况下，它是8连接的。 cv2.LINE_AA给出了对于曲线看起来不错的反锯齿线。

1.3.2 画线

要画一条线，需要知道线的起始和结束坐标。下面的例子将创建一个黑色图像，并从左上上角到右下角创建一条蓝线。

import numpy as np
import cv2

# 创建一个黑色图像
img = np.zeros((512,512,3), np.uint8)

#画一个对角蓝线，厚度为5像素
cv2.line(img,(0,0),(511,511),(255,0,0),5)

1.3.3 画矩形

要绘制一个矩形，需要知道矩形左上角和右下角的坐标。下面的例子会在图像的右上角画一个绿色的矩形。

cv2.rectangle(img,(384,0),(510,128),(0,255,0),3)

1.3.4 画圆

要画一个圆，需要它的中心坐标和半径。 我们将在上面绘制的矩形中画一个圆。

cv2.circle(img,(447,63), 63, (0,0,255), -1)

1.3.5 画椭圆

要画椭圆，我们需要传递几个参数。 一个参数是中心位置（x，y）。 下一个参数是轴长度（长轴长度，短轴长度）。 角度是逆时针方向的椭圆的旋转角度。 startAngle和endAngle表示从长轴沿顺时针方向测量的椭圆弧的开始和结束。 即给出值0和360给出完整的椭圆。 有关更多详细信息，请查看cv2.ellipse（）的文档。 以下示例在图像的中心绘制一个半椭圆。

cv2.ellipse(img,(256,256),(100,50),0,0,180,255,-1)

1.3.6 绘制多边形

要绘制多边形，首先需要顶点坐标。将这些点放入Rows*1*2的矩阵中，其中Rows是定点数，它应该是int32类型。这里我们用黄色的四个定点绘制一个小的多边形。

pts = np.array([[10,5],[20,30],[70,20],[50,10]], np.int32)
pts = pts.reshape((-1,1,2))
cv2.polylines(img,[pts],True,(0,255,255))

注意：如果第三个参数是False，绘制的图像将是一条折现连接所有的点，而不是一个封闭的形状。

注意：cv2.polylines（）可以用来绘制多行。 只需创建一个要绘制的所有行的列表，并将其传递给该函数。 所有行将单独绘制。 为每一行调用cv2.line（），绘制一组线是一个更好和更快的方式。

1.3.7 给图像添加文本

要将图像放在图像中，您需要指定以下内容：

• 要写入的文本数据
• 要放置的位置坐标（即数据开始的左下角）。
• 字体类型（支持支持字体的cv2.putText（）文档）
• 字体缩放（指定字体大小）

其他的参数，如颜色，厚度，lineType等。为了更好看，lineType = cv2.LINE_AA是推荐的。
我们将在图像上用白色写OpenCV。

font = cv2.FONT_HERSHEY_SIMPLEX
cv2.putText(img,'OpenCV',(10,500), font, 4,(255,255,255),2,cv2.LINE_AA)

1.4 鼠标作为笔刷

1.4.1 目标

• 学习OpenCV中的鼠标处理事件
• 学习这些函数：cv2.setMouseCallback（）
  

1.4.2 小demo

在这里，我们创建一个简单的应用程序，在双击的时候上绘制一个圆圈。
首先我们创建一个鼠标回调函数，该函数在鼠标事件发生时执行。 鼠标事件可以与鼠标相关，如左按钮，左键，左键双击等。它给出了每个鼠标事件的坐标（x，y）。 有了这个事件和位置，我们可以做任何我们喜欢的事情。 

创建鼠标回调函数具有特定格式。 它只是根据函数的有所不同。这里我们的鼠标回调函数做一件事，它画一个圆，我们双击。 所以看下面的代码就不言自明了：

import cv2
import numpy as np

# 鼠标回调函数
def draw_circle(event,x,y,flags,param):
    if event == cv2.EVENT_LBUTTONDBLCLK:
        cv2.circle(img,(x,y),100,(255,0,0),-1)

# 创建一个黑色图像，并绑定窗口和鼠标回调函数
img = np.zeros((512,512,3), np.uint8)
cv2.namedWindow('image')
cv2.setMouseCallback('image',draw_circle)

while(1):
    cv2.imshow('image',img)
    if cv2.waitKey(20) & 0xFF == 27:
        break
cv2.destroyAllWindows()

1.4.3 更高级的demo

现在我们去做一个更复杂的应用程序。 在这里，我们绘制矩形或圆形（取决于我们选择的模式），通过像Paint应用程序一样拖动鼠标。 所以我们的鼠标回调函数有两个部分，一个是绘制矩形和另一个画圆的。 这个具体的例子将有助于创建和理解一些交互式应用程序，如对象跟踪，图像分割等。

接下来，将这个鼠标回调函数draw_circles绑定到OpenCV窗口。 在主循环中，我们应该设置键“m”的键盘绑定，以在矩形和圆形之间切换。

#根据鼠标点击事件花绿色的矩形或者画红色的圆
#用m键切换模式，默认是画矩形，按下ESC键退出
import cv2
import numpy as np

drawing=False #true if mouse is pressed
mode=True #if true, draw a rectangle. Press 'm' to toggle to curve
ix,iy=-1,-1

#mouse callback function

def draw_circle(event,x,y,flags,param):
    global ix,iy,drawing,mode

    if event==cv2.EVENT_LBUTTONDOWN:
        drawing==True
        ix,iy=x,y
    elif event==cv2.EVENT_MOUSEMOVE:
        if drawing==True:
            if mode==True:
                cv2.rectangle(img,(ix,iy),(x,y),(0,255,0),-1)
            else:
                cv2.circle(img,(x,y),50,(0,0,255),-1)

    elif event==cv2.EVENT_LBUTTONUP:
        drawing=False
        if mode==True:
            cv2.rectangle(img,(ix,iy),(x,y),(0,255,0),-1)
        else:
            cv2.circle(img,(x,y),50,(0,0,255),-1)


#Next we have to bind this  mouse callback function to OpenCV Window.
#In the main loop,we should set a keyboard binding for key'm' to toggle between
#rectangle and circle

img=np.zeros((512,512,3),np.uint8);
cv2.namedWindow('image')
cv2.setMouseCallback('image',draw_circle)

while(1):
    cv2.imshow('image',img)
    k=cv2.waitKey(1)&0xFF
    if k==ord('m'):
        mode=not mode
    elif k==27:
        break

cv2.destroyAllWindows()

结果：

1.5 将滑动条作为调色板

1.5.1 目标

• 学习将Trackbar绑定到OpenCV窗口
• 将学习这些函数：cv2.getTrackbarPos（），cv2.createTrackbar（）等

1.5.2 代码示例

这里我们将创建一个简单的应用程序，显示您指定的颜色。程旭会显示一个窗口，颜色显示面板和三个滑动条，以指定B，G，R颜色中的每一个。滑动轨迹栏会导致窗口颜色变化。默认情况下，初始颜色将设置为黑色。
对于cv2.getTrackbarPos（）函数，第一个参数是滑动条名称，第二个参数是附加的窗口名称，第三个参数是默认值，第四个参数是最大值，第五个是执行的回调函数，每次跟踪滑动条值都会发生变化。回调函数始终具有即跟踪栏位置的默认参数值，。在我们的示例中，函数什么都不做，所以只是跳过。
轨道栏的另一个重要应用是将其用作按钮或开关。默认情况下，OpenCV没有按钮功能。所以你可以使用trackbar获得这样的功能。在我们的应用程序中，我们已经创建了一个开关，其中应用程序仅在开关为ON时工作，否则屏幕始终为黑色。

代码：

import cv2
import numpy as np

def nothing(x):
    pass

#create a black image,a window
img=np.zeros((300,512,3),np.uint8)
cv2.namedWindow('image')

#create trackbars for color change
cv2.createTrackbar('R','image',0,255,nothing)
cv2.createTrackbar('G','image',0,255,nothing)
cv2.createTrackbar('B','image',0,255,nothing)

#create trackbar for ON/OFF functonality
switch='0:OFF\n1:ON'
cv2.createTrackbar(switch,'image',0,1,nothing)

#按下ESC键程序退出
while(1):
    cv2.imshow('image',img)
    k=cv2.waitKey(1)&0xFF
    if k==27:
        break

    #get current positions of four trackbars
    r=cv2.getTrackbarPos('R','image')
    g=cv2.getTrackbarPos('G','image')
    b=cv2.getTrackbarPos('B','image')
    s=cv2.getTrackbarPos(switch,'image')

    if s==0:
        img[:]=0
    else:
        img[:]=[b,g,r]

cv2.destroyAllWindows()

结果：