JAVA中的Selenium使用

Selenium

一、Selenium简介

Selenium是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中，就像真正的用户在
操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。
适用于自动化测试，js动态爬虫（破解反爬虫）等领域。

二、Selenium组成

 1）Selenium IDE：嵌入到Firefox浏览器中的一个插件，实现简单的浏览器操作录制与回放功能，主要用于快速创建BUG及重现脚本，可转化为多种语言
 2）Selenium RC： 核心组件，支持多种不同语言编写自动化测试脚本，通过其服务器作为代理服务器去访问应用，达到测试的目的
 3）Selenium WebDriver（重点）：一个浏览器自动化框架，它接受命令并将它们发送到浏览器。它是通过特定于浏览器的驱动程序实现的。它直接与浏览器通信并对其进行控制。Selenium WebDriver支持各种编程语言，如Java、C# 、PHP、Python、Perl、Ruby
 4）Selenium grid：测试辅助工具，用于做分布式测试，可以并行执行多个测试任务，提升测试效率。

三、Selenium特点

 1）开源、免费
 2）多浏览器支持:FireFox、Chrome、IE、Opera、Edge;
 3）多平台支持:Linux、Windows、MAC;
 4）多语言支持:Java、Python、Ruby、C#、JavaScript、C++;
 5）对Web页面有良好的支持；
 6）简单(API 简单)、灵活(用开发语言驱动);
 7）支持分布式测试用例执行。

四、案例演示

 1.下载驱动包

 2.创建项目并导入依赖

 <dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-java</artifactId>
    <version>3.141.59</version>
 </dependency>

 3.入门

 //设置驱动
 System.setProperty("webdriver.edge.driver","D:\\msedgedriver.exe");
 //创建驱动
 WebDriver driver=new EdgeDriver();
 //与将要爬取的网站建立连接
 driver.get("https://www.baidu.com");
 //关闭浏览器
 driver.close();
 //释放资源
 driver.quit();

 4.2 相关API

 1.元素选择方式
 
 1）Class选择：driver.findElement(By.className("s_ipt"));
 2）ID选择：   driver.findElement(By.id("kw"));
 3）name选择： driver.findElement(By.name("wd"));
 4）tag选择：  driver.findElements(By.tagName("input"));
 5）link选择： driver.findElement(By.linkText("地图"));
 6）Partial link选择（a标签文本内容模糊匹配）：driver.findElement(By.partialLinkText("使用百"));
 7）css选择器：driver.findElement(By.cssSelector("#kw"));
 8）xpath选择：driver.findElement(By.xpath("//*[@id=\"kw\"]"));

 2.获取单个元素：driver.findElement

 3.获取多个元素：driver.findElements

 4.输入内容：input.sendKeys("java");

 5.元素点击：element.click();

 6.获取元素属性：nextPageEle.getAttribute("class")

 7.获取标签文本内容：titleEle.getText()

package com.zking.ssm.service.impl;

import lombok.SneakyThrows;
import lombok.extern.slf4j.Slf4j;
import org.junit.Test;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.edge.EdgeDriver;

import java.io.*;
import java.net.URL;
import java.util.List;
import java.util.UUID;

@SuppressWarnings("all")
@Slf4j
public class SeleniumTest {

    @Test
    @SneakyThrows
    public void test01() {
        //设置驱动
        System.setProperty("webdriver.edge.driver","D:\\课件\\测试\\12.Selenium\\msedgedriver.exe");
        //创建驱动
        WebDriver driver=new EdgeDriver();
        driver.get("https://www.baidu.com");
        //从driver的网页内容中取出class为title-content-title
        driver.findElements(By.className("title-content-title")).forEach(e->{
            //拿到文本内容 e.getText();
            //点击 e.click();
            //输入文字 e.sendKeys("哈哈");
            //获得标签中的属性 e.getAttribute()
            //标签名 e.getTagName()
            System.out.println(e.getText());
        });
        //关闭
        driver.close();
        //退出
        driver.quit();
    }
    //模拟点击
    @Test
    @SneakyThrows
    public void test02() {
        //设置驱动
        System.setProperty("webdriver.edge.driver","D:\\课件\\测试\\12.Selenium\\msedgedriver.exe");
        //创建驱动
        WebDriver driver=new EdgeDriver();
        driver.get("https://www.baidu.com");
        //获得输入框
        driver.findElement(By.id("kw")).sendKeys("美女图片");
        Thread.sleep(4000);
        //点击搜索按钮
        driver.findElement(By.id("su")).click();
        Thread.sleep(4000);
        //关闭
        driver.close();
        //退出
        driver.quit();
    }
    //抓取小说
    @Test
    @SneakyThrows
    public void test03() {
        //设置驱动
        System.setProperty("webdriver.edge.driver","D:\\课件\\测试\\12.Selenium\\msedgedriver.exe");
        //创建驱动
       WebDriver driver = new EdgeDriver();
       driver.get("https://www.xpiaotian.com/book/380008/180352724.html");


        for (int i = 1; i < 5; i++) {
            //下载的位置
            File file = new File("D:\\课件\\测试\\12.Selenium\\校花的贴身高手\\第"+i+"章.txt");
            System.out.println("第"+i+"章");
            //取到小说的内容
            String content = driver.findElement(By.id("content")).getText();
            //写到指定位置
            FileWriter fw = new FileWriter(file);
            BufferedWriter bw = new BufferedWriter(fw);
            bw.write(content);
            bw.flush();
            bw.close();

            //切换到下一页
            driver.findElement(By.cssSelector(".next")).click();
            //等待
            Thread.sleep(10000);
        }
        //关闭
        driver.close();
        //退出
        driver.quit();
    }

    //爬取图片
    @Test
    @SneakyThrows
    public void test04() {
        //设置驱动
        System.setProperty("webdriver.edge.driver","D:\\课件\\测试\\12.Selenium\\msedgedriver.exe");
        //创建驱动
        WebDriver driver = new EdgeDriver();
        //图库网站
        driver.get("https://www.wxept.com/");


        for (int i = 1; i < 3; i++) {
            //下载的位置
           String file = "D:\\课件\\测试\\12.Selenium\\图片\\";
            //取到图片
            List<WebElement> thumbnail = driver.findElements(By.className("thumbnail"));
            //遍历每一张图片
            for (WebElement webElement : thumbnail) {
                //取到每个图片的src   获取a标签下的img标签用tagName
                WebElement img = webElement.findElement(By.tagName("img"));
                String src = img.getAttribute("src");
                //给每张图片一个名字
                String path = file+ UUID.randomUUID().toString().replace("-","")+".jpg";
                System.out.println(path);
                //网络资源访问符
                URL url = new URL(src);
                //创建字节输入流
                InputStream is = new DataInputStream(url.openStream());
                //创建字节输出流
                OutputStream os = new FileOutputStream(new File(path));
                byte[] bytes = new byte[1024];
                int n = 0;
                while ((n = is.read(bytes)) != -1){
                    os.write(bytes,0,n);
                }
                os.close();
                is.close();

            }



            //切换到下一页
            driver.findElement(By.className("next-page")).click();
            //等待
            Thread.sleep(10000);
        }
        //关闭
        driver.close();
        //退出
        driver.quit();
        System.out.println("爬取完成");
    }

}

效果展示：