[python]图像处理的方式找出使用颜色突出显示的内容

最新推荐文章于 2021-06-09 09:52:36 发布

Jay.xu

最新推荐文章于 2021-06-09 09:52:36 发布

阅读量909

点赞数 1

分类专栏：技术博文文章标签： python

本文链接：https://blog.csdn.net/CREATOR_Jay_xu/article/details/117286286

版权

技术博文专栏收录该内容

4 篇文章 0 订阅

订阅专栏

本文介绍了一种通过图像处理技术在自动化测试中识别APP内颜色突出内容的方法。首先，利用UI自动化框架获取特定控件截图并进行min马赛克处理，然后使用KMeans进行颜色聚类，找出最突出的颜色。接着，通过计算颜色点与拟合曲线的距离确定目标颜色。最后，应用目标颜色识别突出内容的坐标。这种方法对于不同颜色突出的文本识别有效，简化了自动化测试中的颜色识别问题。

摘要由CSDN通过智能技术生成

# coding: utf-8
#
import copy
from collections import Counter
import cv2
import matplotlib.pyplot as plt
import numpy as np
import uiautomator2 as u2
from PIL import Image
from sklearn.cluster import KMeans


def msk(img,size):
    '''
    将图片进行min马赛克处理
    方便对颜色进行提取聚类
    '''
    ret=copy.copy(img)
    for index_1 in range(0,max(len(img),size),size):
        for index_2 in range(0,max(len(img[index_1]),size),size):
            index_1_s=index_1 if index_1+size<len(img) else len(img)-size
            index_2_s=index_2 if index_2+size<len(img[index_1]) else len(img[index_1])-size
            index_1_f=index_1_s+size
            index_2_f=index_2_s+size
            item=[255,255,255]
            for i in range(index_1_s,index_1_f):
                for j in range(index_2_s,index_2_f):
                    for itemi in range(3):
                        item[itemi]=min(item[itemi],img[i][j][itemi])
                        #item[itemi]+=img[i][j][itemi]
            #for index_item in range(3):
            #    item[index_item]=item[index_item]/(size*size)
            for i in range(index_1_s,index_1_f):
                for j in range(index_2_s,index_2_f):
                    for itemi in range(3):
                        ret[i][j][itemi]=item[itemi]
    return ret
def special_colors(color_list):
    '''
    返回一组颜色中最为突出（相较其他颜色更为显著）的颜色
    '''
    x=np.array([i[0] for i in color_list])
    y=np.array([i[1] for i in color_list])
    z=np.array([i[2] for i in color_list])

    xy = np.polyfit(x, y, 1) 
    xz = np.polyfit(x, z, 1) 

    def point_distance_line(point,line_point1,line_point2):
    	#计算
        vec1 = line_point1 - point
        vec2 = line_point2 - point
        distance = np.abs(np.cross(vec1,vec2)) / np.linalg.norm(line_point1-line_point2)
        return distance
    
    xy_p0_x=0
    xz_p0_x=0
    xy_p0_y=xy[1]
    xz_p0_y=xz[1]

    xy_p1_x=1
    xz_p1_x=1
    xy_p1_y=xy[0]+xy[1]
    xz_p1_y=xz[0]+xz[1]

    distance_xy=[]
    distance_xz=[]
    for i in color_list:
        param_point=np.array([i[0],i[1]])
        param_line_point1=np.array([xy_p0_x,xy_p0_y])
        param_line_point2=np.array([xy_p1_x,xy_p1_y])
        distance_xy.append(point_distance_line(param_point,param_line_point1,param_line_point2))

        param_point=np.array([i[0],i[2]])
        param_line_point1=np.array([xz_p0_x,xz_p0_y])
        param_line_point2=np.array([xz_p1_x,xz_p1_y])
        distance_xz.append(point_distance_line(param_point,param_line_point1,param_line_point2))
    
    # print('xy距离 - {}'.format(distance_xy))
    # print('xz距离 - {}'.format(distance_xz))
    # print('距离 - {}'.format([distance_xy[index]+distance_xz[index] for index in range(len(distance_xy))]))

    max_distance=max([distance_xy[index]+distance_xz[index] for index in range(len(distance_xy))])
    ret_index=[distance_xy[index]+distance_xz[index] for index in range(len(distance_xy))].index(max_distance)
    return color_list[ret_index]

# cv2.imshow("OpenCV",palette_perc(clt_1))
# cv2.waitKey()
# cv2.destroyAllWindows()



def work():
    d = u2.connect()
    # image = d(resourceId="cn.youth.news:id/are").screenshot()
    image = d.xpath('//android.widget.ScrollView').screenshot()
    img = cv2.cvtColor(np.asarray(image),cv2.COLOR_RGB2BGR)
    img2=msk(img,10)
    clt=KMeans(n_clusters=5) # 定义聚类器，预设聚5类
    clt_1 = clt.fit(img2.reshape(-1, 3)) # 计算聚类
    that_color=special_colors(clt_1.cluster_centers_)
    print(that_color)

if __name__ == '__main__':
    work()