[5]Selenium学习系列----Sikuli图形识别框架和Selenium结合

原创 2017年06月15日 22:03:11

我们在使用Selenium做Web测试的过程中,有的时候会遇到Window的原生的弹出框,比如消息弹出框,文件上传弹出窗口已经文件下载窗口;这个时候,使用普通的Selenium的XPath或者CSS选择器都没有作用的时候,我们可以借助于Sikuli框架和Selenium集合。Sikuli的官方的Github的地址是:https://github.com/sikuli/sikuli

下面是从百度百科上搜索的关于Sikuli的介绍:

MIT的研究人员设计了一种新颖的图形脚本语言Sikuli,计算机用户只须有最基本的编程技能(比如会写print"hello world"),他不需要去写出一行行代码,而是用屏幕截图的方式,用截出来的图形元素组合出神奇的程序。
根据MIT研究人员的论文(PDF)描述,使用者只要对Python语言有基本的了解,Sikuli可以利用图形用户界面的截图元素自动的完成大多数编程任务。用研究人员的举的例子来说,就好像巴士正在转过街角,脚本能通知乘客,好让他及时赶上。
在上世纪80年代以前,要使用电脑软件需要记住大量的命令才完成相应的任务。但随后出现了GUI(图形用户界面),使用者只需要借助直观的按钮或其他视觉元素即可操作软件。但GUI的出现并没有给程序员带来便利,他们仍然需要借助代码来实现相应的功能。如果要让不同的软件相互配合,也同样要进行代码调用。
而麻省理工学院开发的Sikuli项目则可以使得这一过程变得更加简单,只需要略懂一点编程语言即可完成简单的编程和程序间的调用。利用 Sikuli,用户要使用其他的界面元素,或调用其他程序,不必输入代码,只需要插入相应的按钮或图标截图即可。
例如,当编程人员想要编写一个脚本,实现如下功能:当上班时所乘坐的公交车到达某一站时,自动向手机发送一条提示信息。如果是在以前,需要对相应的坐标进行确定,并通过文本的方式将其编写成代码。而如果在当地公交网站上有一个通过谷歌地图绘制的公交路线图,而且上面有活动的路标,那么编程人员便可将路标移动到需要发送短信的位置,并进行截图。这样一来,只需要将该截图插入到If之后,即可设定好条件语句,从而触发特定的信息。当然,这同样需要具备一些基本的编程基础。
当用户需要调用其他程序时也可以使用这一功能,例如,需要调用其他程序上的某个功能,则只需要将该功能所对应的按钮截图插入到代码中对应 的位置即可。
除了方便编程外,该技术还可以用于进行大规模的程序测试。例如,测试某一按钮是否正常工作。这时,通过Sikuli来调用待测试的按钮便可节约 大量时间。
此外,Sikuli还可用于可视化搜索。例如,对生活中的某一事物拍摄照片,即可搜索相关的信息;或是在某一地区迷路,只要将周围环境的照片上 传到搜索引擎,便可得到相应的地理位置。谷歌此前推出的Goggles也具备了类似的功能。
麻省理工学院的研究人员介绍,Sikuli的工作模式与人眼一样,直接识别图像,而不是底层代码,因此不会产生不兼容的问题。 Sikuli在墨西哥维乔印第安人(Huichol Indians)的语言里是上帝之眼的意思。

下面直接上代码:

@Maven文件

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<groupId>com.sikuli.selenium</groupId>
	<artifactId>sikuli-selenium</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<name>sikuli-selenium</name>
	<description>sikuli-selenium</description>
	<dependencies>
		<!-- <dependency> <groupId>net.sourceforge.tess4j</groupId> <artifactId>tess4j</artifactId> 
			<version>3.4.0</version> </dependency> -->
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>4.11</version>
			<scope>test</scope>
		</dependency>
		<dependency>
			<groupId>com.sikulix</groupId>
			<artifactId>sikulixapi</artifactId>
			<version>1.1.1-SNAPSHOT</version>
		</dependency>
		<dependency>
			<groupId>org.seleniumhq.selenium</groupId>
			<artifactId>selenium-java</artifactId>
			<version>2.53.1</version>
		</dependency>
		<dependency>
			<groupId>org.seleniumhq.selenium</groupId>
			<artifactId>selenium-server</artifactId>
			<version>2.53.1</version>
		</dependency>
	</dependencies>
	<repositories>
		<repository>
			<id>sonatype-ossrh</id>
			<url>https://oss.sonatype.org/content/repositories/snapshots/</url>
		</repository>
		<repository>
			<id>sikuli</id>
			<name>sikuli-api Repository</name>
			<url>https://mvnrepository.com/artifact/org.sikuli/sikuli-api</url>
		</repository>
		<repository>
			<id>sikuli</id>
			<name>sikuli-webdriver Repository</name>
			<url>https://mvnrepository.com/artifact/org.sikuli/sikuli-webdriver</url>
		</repository>
	</repositories>
</project>

测试代码:

public interface IImageElement
{
	public String getPath();


	public float getSimilarity();


	public String toString();
}

public class ImageElement implements IImageElement {

    private String path;
    private float similarity;

    public ImageElement(final String path, final float similarity) {
        this.path = path;
        this.similarity = similarity;
    }

    public String getPath() {
    	
        return path;
    }

    public float getSimilarity() {
        return similarity;
    }
}



import info.testing.automated.sikuli.entities.IImageElement;
import org.sikuli.script.*;
import java.awt.*;

public class Desktop {

    private enum SikuliAction {
        CLICK,
        TYPE
    }

    private Region desktop;
    private boolean endStateReached;

    public Desktop() {
        desktop = new Region(new Rectangle(Toolkit.getDefaultToolkit().getScreenSize()));
    }

    public boolean clickAll(final IImageElement[] elements, final Integer timeout) {
        for (int i = 0; i < elements.length; i++) {
            onAppear(createImage(elements[i]), SikuliAction.CLICK,
                    (i == elements.length - 1));
        }

        boolean observeResult = observe(timeout);

        return endStateReached || observeResult;
    }

    public boolean type(final IImageElement element, final String text, final Integer timeout) {
        return onAppear(createImage(element), SikuliAction.TYPE, text).observe(timeout);
    }

    private Pattern createImage(final IImageElement element) {
        return new Pattern(element.getPath()).similar(element.getSimilarity());
    }

    private boolean observe(final Integer timeout) {
        return desktop.observe(timeout);
    }

    private Desktop onAppear(final Pattern image, final SikuliAction action, final String text) {
        return onAppear(image, action, text, true);
    }

    private Desktop onAppear(final Pattern image, final SikuliAction action, boolean stopObserver) {
        return onAppear(image, action, "", stopObserver);
    }

    private Desktop onAppear(final Pattern image, final SikuliAction action, final String text, final boolean stopObserver) {
        desktop.onAppear(image, new ObserverCallBack() {
            @Override
            public void appeared(ObserveEvent e) {
                switch (action) {
                    case CLICK:
                        e.getMatch().click();
                        break;
                    case TYPE:
                        e.getMatch().click();
                        e.getMatch().type(text);
                        break;
                }

                if (stopObserver) {
                    endStateReached = true;
                    desktop.stopObserver();
                }
            }
        });

        return this;
    }
}

import org.junit.Test;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.firefox.FirefoxDriver;
import org.sikuli.script.Key;

public class CommonSikuliActionsTests {

    @Test
    public void sikuliClickAndType() {

        WebDriver driver = null;
        Desktop desktop = new Desktop();

        try {
            IImageElement inputSearch = new ImageElement(ClassLoader.getSystemResource("inputSearch.png").getPath(), 0.75f);
            IImageElement linkSite = new ImageElement(ClassLoader.getSystemResource("linkSite.png").getPath(), 0.75f);
            IImageElement linkAllCategories = new ImageElement(ClassLoader.getSystemResource("linkAllCategories.png").getPath(), 0.75f);
            String path="c:\\drivers\\";
            System.setProperty("webdriver.gecko.driver", path + "geckodriver.exe");
            System.setProperty("webdriver.chrome.driver", path + "chromedriver.exe");
            driver = new ChromeDriver();
            driver.get("https://www.google.com/");

            desktop.type(inputSearch, "automated-testing.into" + Key.ENTER, 2);
            desktop.clickAll(new IImageElement[] { linkSite, linkAllCategories}, 20);

            Thread.sleep(3000);
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (driver != null) {
                driver.quit();
            }
        }
    }
}



三种图片都是从网上截图的,分别如下:

@inputSearch.png


@linkSite.png


@linkAllCategories.png






版权声明:本文为博主原创文章,未经博主允许不得转载。

sikuli入门到进阶

sikuli入门到进阶

Sikuli -web页面自动化测试工具

简介 Sikuli(在墨西哥维乔印第安人的语言里是”上帝之眼”的意思)是由美国麻省理工学院开发的一种最新编程技术,使得编程人员可以使用截图替代代码,从而简化代码的编写流程。从它研究方向上看,是一种编...

Sikuli-X简单的使用

Sikuli是识别和控制GUI组件进行UI自动化测试的技术,它是有MIT的研究人员开发进行设计的。Sikuli在墨西哥维乔印第安人(Huichol Indians)的语言里是上帝之眼的意思,Siku...

【Sikuli】Sikuli安装过程

1. 下载安装包:地址  https://launchpad.net/sikuli/+download 2. 首先安装Sikuli-X-1.0rc3 (r905)-win32.exe,再安装siku...

sikuli的平凡之路

一、Sikuli的认识 1.l什么是Sikuli ? lSikuli 是由 MIT的研究团队发布的新型图形化编程技术。它以图像检索技术为基础,自动化你在屏幕上看到的任何东西,使用图像来识别和控制...
  • greless
  • greless
  • 2016年08月21日 13:31
  • 485

sikuli--前端自动化操作的神器

前端自动话操作应用很广泛,从网购秒杀活动实现自动化抢购,到区块链货币高频交易前端脚本编写(非合作交易所不提供api的情况下)。 自动化的流派分为2类,一类是对DOM对象进行解析的,这个是主流,但是受...

SikuliX简介及安装

一、简单介绍 SikuliIDE和Sikuli Script就是现在的SikuliX,最新版本是SikuliX1.1.0, 部分兼容Sikuli JAVA API,支持Python和Ruby,Siku...

Selenium结合sikuliX操作配置

sikuli的官网地址:http://www.sikuli.org   首先下载sikuliX的jar包:https://launchpad.net/sikuli/sikulix/1.1.0 ...

【SikuliX】基于图像识别的Web自动化测试

安装sikulix 官网:https://launchpad.net/sikuli/+download sikulixsetup-1.1.1 需要预先装好JDK(这里的是JDK8) 执行:java -...

tesseract结合selenium快速搜索图片中的文字

大家有没有遇到过这样的问题:当我们看到有些图片中的文字(比如论文中的图片或公式等),想搜索一下,但苦于不能直接复制,只能手动敲入在百度的搜索框;或者碰到其他复制比较麻烦的地方,比如cmd窗口,也是如此...
  • buptlrw
  • buptlrw
  • 2016年01月04日 15:55
  • 1246
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:[5]Selenium学习系列----Sikuli图形识别框架和Selenium结合
举报原因:
原因补充:

(最多只允许输入30个字)