[5]Selenium学习系列----Sikuli图形识别框架和Selenium结合

我们在使用Selenium做Web测试的过程中，有的时候会遇到Window的原生的弹出框，比如消息弹出框，文件上传弹出窗口已经文件下载窗口；这个时候，使用普通的Selenium的XPath或者CSS选择器都没有作用的时候，我们可以借助于Sikuli框架和Selenium集合。Sikuli的官方的Github的地址是：https://github.com/sikuli/sikuli

下面是从百度百科上搜索的关于Sikuli的介绍：

MIT的研究人员设计了一种新颖的图形脚本语言Sikuli，计算机用户只须有最基本的编程技能（比如会写print"hello world"），他不需要去写出一行行代码，而是用屏幕截图的方式，用截出来的图形元素组合出神奇的程序。

根据MIT研究人员的论文(PDF)描述，使用者只要对Python语言有基本的了解，Sikuli可以利用图形用户界面的截图元素自动的完成大多数编程任务。用研究人员的举的例子来说，就好像巴士正在转过街角，脚本能通知乘客，好让他及时赶上。

在上世纪80年代以前，要使用电脑软件需要记住大量的命令才完成相应的任务。但随后出现了GUI(图形用户界面)，使用者只需要借助直观的按钮或其他视觉元素即可操作软件。但GUI的出现并没有给程序员带来便利，他们仍然需要借助代码来实现相应的功能。如果要让不同的软件相互配合，也同样要进行代码调用。

而麻省理工学院开发的Sikuli项目则可以使得这一过程变得更加简单，只需要略懂一点编程语言即可完成简单的编程和程序间的调用。利用 Sikuli，用户要使用其他的界面元素，或调用其他程序，不必输入代码，只需要插入相应的按钮或图标截图即可。

例如，当编程人员想要编写一个脚本，实现如下功能：当上班时所乘坐的公交车到达某一站时，自动向手机发送一条提示信息。如果是在以前，需要对相应的坐标进行确定，并通过文本的方式将其编写成代码。而如果在当地公交网站上有一个通过谷歌地图绘制的公交路线图，而且上面有活动的路标，那么编程人员便可将路标移动到需要发送短信的位置，并进行截图。这样一来，只需要将该截图插入到If之后，即可设定好条件语句，从而触发特定的信息。当然，这同样需要具备一些基本的编程基础。

当用户需要调用其他程序时也可以使用这一功能，例如，需要调用其他程序上的某个功能，则只需要将该功能所对应的按钮截图插入到代码中对应 的位置即可。

除了方便编程外，该技术还可以用于进行大规模的程序测试。例如，测试某一按钮是否正常工作。这时，通过Sikuli来调用待测试的按钮便可节约 大量时间。

此外，Sikuli还可用于可视化搜索。例如，对生活中的某一事物拍摄照片，即可搜索相关的信息；或是在某一地区迷路，只要将周围环境的照片上 传到搜索引擎，便可得到相应的地理位置。谷歌此前推出的Goggles也具备了类似的功能。

据麻省理工学院的研究人员介绍，Sikuli的工作模式与人眼一样，直接识别图像，而不是底层代码，因此不会产生不兼容的问题。 Sikuli在墨西哥维乔印第安人(Huichol Indians)的语言里是上帝之眼的意思。

下面直接上代码：

@Maven文件

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<groupId>com.sikuli.selenium</groupId>
	<artifactId>sikuli-selenium</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<name>sikuli-selenium</name>
	<description>sikuli-selenium</description>
	<dependencies>
		<!-- <dependency> <groupId>net.sourceforge.tess4j</groupId> <artifactId>tess4j</artifactId> 
			<version>3.4.0</version> </dependency> -->
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>4.11</version>
			<scope>test</scope>
		</dependency>
		<dependency>
			<groupId>com.sikulix</groupId>
			<artifactId>sikulixapi</artifactId>
			<version>1.1.1-SNAPSHOT</version>
		</dependency>
		<dependency>
			<groupId>org.seleniumhq.selenium</groupId>
			<artifactId>selenium-java</artifactId>
			<version>2.53.1</version>
		</dependency>
		<dependency>
			<groupId>org.seleniumhq.selenium</groupId>
			<artifactId>selenium-server</artifactId>
			<version>2.53.1</version>
		</dependency>
	</dependencies>
	<repositories>
		<repository>
			<id>sonatype-ossrh</id>
			<url>https://oss.sonatype.org/content/repositories/snapshots/</url>
		</repository>
		<repository>
			<id>sikuli</id>
			<name>sikuli-api Repository</name>
			<url>https://mvnrepository.com/artifact/org.sikuli/sikuli-api</url>
		</repository>
		<repository>
			<id>sikuli</id>
			<name>sikuli-webdriver Repository</name>
			<url>https://mvnrepository.com/artifact/org.sikuli/sikuli-webdriver</url>
		</repository>
	</repositories>
</project>

测试代码：

public interface IImageElement
{
	public String getPath();


	public float getSimilarity();


	public String toString();
}

public class ImageElement implements IImageElement {

    private String path;
    private float similarity;

    public ImageElement(final String path, final float similarity) {
        this.path = path;
        this.similarity = similarity;
    }

    public String getPath() {
    	
        return path;
    }

    public float getSimilarity() {
        return similarity;
    }
}



import info.testing.automated.sikuli.entities.IImageElement;
import org.sikuli.script.*;
import java.awt.*;

public class Desktop {

    private enum SikuliAction {
        CLICK,
        TYPE
    }

    private Region desktop;
    private boolean endStateReached;

    public Desktop() {
        desktop = new Region(new Rectangle(Toolkit.getDefaultToolkit().getScreenSize()));
    }

    public boolean clickAll(final IImageElement[] elements, final Integer timeout) {
        for (int i = 0; i < elements.length; i++) {
            onAppear(createImage(elements[i]), SikuliAction.CLICK,
                    (i == elements.length - 1));
        }

        boolean observeResult = observe(timeout);

        return endStateReached || observeResult;
    }

    public boolean type(final IImageElement element, final String text, final Integer timeout) {
        return onAppear(createImage(element), SikuliAction.TYPE, text).observe(timeout);
    }

    private Pattern createImage(final IImageElement element) {
        return new Pattern(element.getPath()).similar(element.getSimilarity());
    }

    private boolean observe(final Integer timeout) {
        return desktop.observe(timeout);
    }

    private Desktop onAppear(final Pattern image, final SikuliAction action, final String text) {
        return onAppear(image, action, text, true);
    }

    private Desktop onAppear(final Pattern image, final SikuliAction action, boolean stopObserver) {
        return onAppear(image, action, "", stopObserver);
    }

    private Desktop onAppear(final Pattern image, final SikuliAction action, final String text, final boolean stopObserver) {
        desktop.onAppear(image, new ObserverCallBack() {
            @Override
            public void appeared(ObserveEvent e) {
                switch (action) {
                    case CLICK:
                        e.getMatch().click();
                        break;
                    case TYPE:
                        e.getMatch().click();
                        e.getMatch().type(text);
                        break;
                }

                if (stopObserver) {
                    endStateReached = true;
                    desktop.stopObserver();
                }
            }
        });

        return this;
    }
}

import org.junit.Test;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.firefox.FirefoxDriver;
import org.sikuli.script.Key;

public class CommonSikuliActionsTests {

    @Test
    public void sikuliClickAndType() {

        WebDriver driver = null;
        Desktop desktop = new Desktop();

        try {
            IImageElement inputSearch = new ImageElement(ClassLoader.getSystemResource("inputSearch.png").getPath(), 0.75f);
            IImageElement linkSite = new ImageElement(ClassLoader.getSystemResource("linkSite.png").getPath(), 0.75f);
            IImageElement linkAllCategories = new ImageElement(ClassLoader.getSystemResource("linkAllCategories.png").getPath(), 0.75f);
            String path="c:\\drivers\\";
            System.setProperty("webdriver.gecko.driver", path + "geckodriver.exe");
            System.setProperty("webdriver.chrome.driver", path + "chromedriver.exe");
            driver = new ChromeDriver();
            driver.get("https://www.google.com/");

            desktop.type(inputSearch, "automated-testing.into" + Key.ENTER, 2);
            desktop.clickAll(new IImageElement[] { linkSite, linkAllCategories}, 20);

            Thread.sleep(3000);
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (driver != null) {
                driver.quit();
            }
        }
    }
}

三种图片都是从网上截图的，分别如下：

@inputSearch.png

@linkSite.png

@linkAllCategories.png