[置顶] [5]Selenium学习系列----Sikuli图形识别框架和Selenium结合

标签: seleniumSikuliWeb测试Java自动化测试
340人阅读 评论(0) 收藏 举报
分类:

我们在使用Selenium做Web测试的过程中,有的时候会遇到Window的原生的弹出框,比如消息弹出框,文件上传弹出窗口已经文件下载窗口;这个时候,使用普通的Selenium的XPath或者CSS选择器都没有作用的时候,我们可以借助于Sikuli框架和Selenium集合。Sikuli的官方的Github的地址是:https://github.com/sikuli/sikuli

下面是从百度百科上搜索的关于Sikuli的介绍:

MIT的研究人员设计了一种新颖的图形脚本语言Sikuli,计算机用户只须有最基本的编程技能(比如会写print"hello world"),他不需要去写出一行行代码,而是用屏幕截图的方式,用截出来的图形元素组合出神奇的程序。
根据MIT研究人员的论文(PDF)描述,使用者只要对Python语言有基本的了解,Sikuli可以利用图形用户界面的截图元素自动的完成大多数编程任务。用研究人员的举的例子来说,就好像巴士正在转过街角,脚本能通知乘客,好让他及时赶上。
在上世纪80年代以前,要使用电脑软件需要记住大量的命令才完成相应的任务。但随后出现了GUI(图形用户界面),使用者只需要借助直观的按钮或其他视觉元素即可操作软件。但GUI的出现并没有给程序员带来便利,他们仍然需要借助代码来实现相应的功能。如果要让不同的软件相互配合,也同样要进行代码调用。
而麻省理工学院开发的Sikuli项目则可以使得这一过程变得更加简单,只需要略懂一点编程语言即可完成简单的编程和程序间的调用。利用 Sikuli,用户要使用其他的界面元素,或调用其他程序,不必输入代码,只需要插入相应的按钮或图标截图即可。
例如,当编程人员想要编写一个脚本,实现如下功能:当上班时所乘坐的公交车到达某一站时,自动向手机发送一条提示信息。如果是在以前,需要对相应的坐标进行确定,并通过文本的方式将其编写成代码。而如果在当地公交网站上有一个通过谷歌地图绘制的公交路线图,而且上面有活动的路标,那么编程人员便可将路标移动到需要发送短信的位置,并进行截图。这样一来,只需要将该截图插入到If之后,即可设定好条件语句,从而触发特定的信息。当然,这同样需要具备一些基本的编程基础。
当用户需要调用其他程序时也可以使用这一功能,例如,需要调用其他程序上的某个功能,则只需要将该功能所对应的按钮截图插入到代码中对应 的位置即可。
除了方便编程外,该技术还可以用于进行大规模的程序测试。例如,测试某一按钮是否正常工作。这时,通过Sikuli来调用待测试的按钮便可节约 大量时间。
此外,Sikuli还可用于可视化搜索。例如,对生活中的某一事物拍摄照片,即可搜索相关的信息;或是在某一地区迷路,只要将周围环境的照片上 传到搜索引擎,便可得到相应的地理位置。谷歌此前推出的Goggles也具备了类似的功能。
麻省理工学院的研究人员介绍,Sikuli的工作模式与人眼一样,直接识别图像,而不是底层代码,因此不会产生不兼容的问题。 Sikuli在墨西哥维乔印第安人(Huichol Indians)的语言里是上帝之眼的意思。

下面直接上代码:

@Maven文件

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<groupId>com.sikuli.selenium</groupId>
	<artifactId>sikuli-selenium</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<name>sikuli-selenium</name>
	<description>sikuli-selenium</description>
	<dependencies>
		<!-- <dependency> <groupId>net.sourceforge.tess4j</groupId> <artifactId>tess4j</artifactId> 
			<version>3.4.0</version> </dependency> -->
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>4.11</version>
			<scope>test</scope>
		</dependency>
		<dependency>
			<groupId>com.sikulix</groupId>
			<artifactId>sikulixapi</artifactId>
			<version>1.1.1-SNAPSHOT</version>
		</dependency>
		<dependency>
			<groupId>org.seleniumhq.selenium</groupId>
			<artifactId>selenium-java</artifactId>
			<version>2.53.1</version>
		</dependency>
		<dependency>
			<groupId>org.seleniumhq.selenium</groupId>
			<artifactId>selenium-server</artifactId>
			<version>2.53.1</version>
		</dependency>
	</dependencies>
	<repositories>
		<repository>
			<id>sonatype-ossrh</id>
			<url>https://oss.sonatype.org/content/repositories/snapshots/</url>
		</repository>
		<repository>
			<id>sikuli</id>
			<name>sikuli-api Repository</name>
			<url>https://mvnrepository.com/artifact/org.sikuli/sikuli-api</url>
		</repository>
		<repository>
			<id>sikuli</id>
			<name>sikuli-webdriver Repository</name>
			<url>https://mvnrepository.com/artifact/org.sikuli/sikuli-webdriver</url>
		</repository>
	</repositories>
</project>

测试代码:

public interface IImageElement
{
	public String getPath();


	public float getSimilarity();


	public String toString();
}

public class ImageElement implements IImageElement {

    private String path;
    private float similarity;

    public ImageElement(final String path, final float similarity) {
        this.path = path;
        this.similarity = similarity;
    }

    public String getPath() {
    	
        return path;
    }

    public float getSimilarity() {
        return similarity;
    }
}



import info.testing.automated.sikuli.entities.IImageElement;
import org.sikuli.script.*;
import java.awt.*;

public class Desktop {

    private enum SikuliAction {
        CLICK,
        TYPE
    }

    private Region desktop;
    private boolean endStateReached;

    public Desktop() {
        desktop = new Region(new Rectangle(Toolkit.getDefaultToolkit().getScreenSize()));
    }

    public boolean clickAll(final IImageElement[] elements, final Integer timeout) {
        for (int i = 0; i < elements.length; i++) {
            onAppear(createImage(elements[i]), SikuliAction.CLICK,
                    (i == elements.length - 1));
        }

        boolean observeResult = observe(timeout);

        return endStateReached || observeResult;
    }

    public boolean type(final IImageElement element, final String text, final Integer timeout) {
        return onAppear(createImage(element), SikuliAction.TYPE, text).observe(timeout);
    }

    private Pattern createImage(final IImageElement element) {
        return new Pattern(element.getPath()).similar(element.getSimilarity());
    }

    private boolean observe(final Integer timeout) {
        return desktop.observe(timeout);
    }

    private Desktop onAppear(final Pattern image, final SikuliAction action, final String text) {
        return onAppear(image, action, text, true);
    }

    private Desktop onAppear(final Pattern image, final SikuliAction action, boolean stopObserver) {
        return onAppear(image, action, "", stopObserver);
    }

    private Desktop onAppear(final Pattern image, final SikuliAction action, final String text, final boolean stopObserver) {
        desktop.onAppear(image, new ObserverCallBack() {
            @Override
            public void appeared(ObserveEvent e) {
                switch (action) {
                    case CLICK:
                        e.getMatch().click();
                        break;
                    case TYPE:
                        e.getMatch().click();
                        e.getMatch().type(text);
                        break;
                }

                if (stopObserver) {
                    endStateReached = true;
                    desktop.stopObserver();
                }
            }
        });

        return this;
    }
}

import org.junit.Test;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.firefox.FirefoxDriver;
import org.sikuli.script.Key;

public class CommonSikuliActionsTests {

    @Test
    public void sikuliClickAndType() {

        WebDriver driver = null;
        Desktop desktop = new Desktop();

        try {
            IImageElement inputSearch = new ImageElement(ClassLoader.getSystemResource("inputSearch.png").getPath(), 0.75f);
            IImageElement linkSite = new ImageElement(ClassLoader.getSystemResource("linkSite.png").getPath(), 0.75f);
            IImageElement linkAllCategories = new ImageElement(ClassLoader.getSystemResource("linkAllCategories.png").getPath(), 0.75f);
            String path="c:\\drivers\\";
            System.setProperty("webdriver.gecko.driver", path + "geckodriver.exe");
            System.setProperty("webdriver.chrome.driver", path + "chromedriver.exe");
            driver = new ChromeDriver();
            driver.get("https://www.google.com/");

            desktop.type(inputSearch, "automated-testing.into" + Key.ENTER, 2);
            desktop.clickAll(new IImageElement[] { linkSite, linkAllCategories}, 20);

            Thread.sleep(3000);
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (driver != null) {
                driver.quit();
            }
        }
    }
}



三种图片都是从网上截图的,分别如下:

@inputSearch.png


@linkSite.png


@linkAllCategories.png






1
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:385211次
    • 积分:6338
    • 等级:
    • 排名:第4069名
    • 原创:227篇
    • 转载:0篇
    • 译文:5篇
    • 评论:157条
    博客专栏