Selenium
一、Selenium简介
Selenium是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中,就像真正的用户在
操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。
适用于自动化测试,js动态爬虫(破解反爬虫)等领域。
二、Selenium组成
1)Selenium IDE:嵌入到Firefox浏览器中的一个插件,实现简单的浏览器操作录制与回放功能,主要用于快速创建BUG及重现脚本,可转化为多种语言
2)Selenium RC: 核心组件,支持多种不同语言编写自动化测试脚本,通过其服务器作为代理服务器去访问应用,达到测试的目的
3)Selenium WebDriver(重点):一个浏览器自动化框架,它接受命令并将它们发送到浏览器。它是通过特定于浏览器的驱动程序实现的。它直接与浏览器通信并对其进行控制。Selenium WebDriver支持各种编程语言,如Java、C# 、PHP、Python、Perl、Ruby
4)Selenium grid:测试辅助工具,用于做分布式测试,可以并行执行多个测试任务,提升测试效率。
三、Selenium特点
1)开源、免费
2)多浏览器支持:FireFox、Chrome、IE、Opera、Edge;
3)多平台支持:Linux、Windows、MAC;
4)多语言支持:Java、Python、Ruby、C#、JavaScript、C++;
5)对Web页面有良好的支持;
6)简单(API 简单)、灵活(用开发语言驱动);
7)支持分布式测试用例执行。
四、案例演示
1.下载驱动包
2.创建项目并导入依赖
<dependency>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-java</artifactId>
<version>3.141.59</version>
</dependency>
3.入门
//设置驱动
System.setProperty("webdriver.edge.driver","D:\\msedgedriver.exe");
//创建驱动
WebDriver driver=new EdgeDriver();
//与将要爬取的网站建立连接
driver.get("https://www.baidu.com");
//关闭浏览器
driver.close();
//释放资源
driver.quit();
4.2 相关API
1.元素选择方式
1)Class选择:driver.findElement(By.className("s_ipt"));
2)ID选择: driver.findElement(By.id("kw"));
3)name选择: driver.findElement(By.name("wd"));
4)tag选择: driver.findElements(By.tagName("input"));
5)link选择: driver.findElement(By.linkText("地图"));
6)Partial link选择(a标签文本内容模糊匹配):driver.findElement(By.partialLinkText("使用百"));
7)css选择器:driver.findElement(By.cssSelector("#kw"));
8)xpath选择:driver.findElement(By.xpath("//*[@id=\"kw\"]"));
2.获取单个元素:driver.findElement
3.获取多个元素:driver.findElements
4.输入内容:input.sendKeys("java");
5.元素点击:element.click();
6.获取元素属性:nextPageEle.getAttribute("class")
7.获取标签文本内容:titleEle.getText()
package com.zking.ssm.service.impl;
import lombok.SneakyThrows;
import lombok.extern.slf4j.Slf4j;
import org.junit.Test;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.edge.EdgeDriver;
import java.io.*;
import java.net.URL;
import java.util.List;
import java.util.UUID;
@SuppressWarnings("all")
@Slf4j
public class SeleniumTest {
@Test
@SneakyThrows
public void test01() {
//设置驱动
System.setProperty("webdriver.edge.driver","D:\\课件\\测试\\12.Selenium\\msedgedriver.exe");
//创建驱动
WebDriver driver=new EdgeDriver();
driver.get("https://www.baidu.com");
//从driver的网页内容中取出class为title-content-title
driver.findElements(By.className("title-content-title")).forEach(e->{
//拿到文本内容 e.getText();
//点击 e.click();
//输入文字 e.sendKeys("哈哈");
//获得标签中的属性 e.getAttribute()
//标签名 e.getTagName()
System.out.println(e.getText());
});
//关闭
driver.close();
//退出
driver.quit();
}
//模拟点击
@Test
@SneakyThrows
public void test02() {
//设置驱动
System.setProperty("webdriver.edge.driver","D:\\课件\\测试\\12.Selenium\\msedgedriver.exe");
//创建驱动
WebDriver driver=new EdgeDriver();
driver.get("https://www.baidu.com");
//获得输入框
driver.findElement(By.id("kw")).sendKeys("美女图片");
Thread.sleep(4000);
//点击搜索按钮
driver.findElement(By.id("su")).click();
Thread.sleep(4000);
//关闭
driver.close();
//退出
driver.quit();
}
//抓取小说
@Test
@SneakyThrows
public void test03() {
//设置驱动
System.setProperty("webdriver.edge.driver","D:\\课件\\测试\\12.Selenium\\msedgedriver.exe");
//创建驱动
WebDriver driver = new EdgeDriver();
driver.get("https://www.xpiaotian.com/book/380008/180352724.html");
for (int i = 1; i < 5; i++) {
//下载的位置
File file = new File("D:\\课件\\测试\\12.Selenium\\校花的贴身高手\\第"+i+"章.txt");
System.out.println("第"+i+"章");
//取到小说的内容
String content = driver.findElement(By.id("content")).getText();
//写到指定位置
FileWriter fw = new FileWriter(file);
BufferedWriter bw = new BufferedWriter(fw);
bw.write(content);
bw.flush();
bw.close();
//切换到下一页
driver.findElement(By.cssSelector(".next")).click();
//等待
Thread.sleep(10000);
}
//关闭
driver.close();
//退出
driver.quit();
}
//爬取图片
@Test
@SneakyThrows
public void test04() {
//设置驱动
System.setProperty("webdriver.edge.driver","D:\\课件\\测试\\12.Selenium\\msedgedriver.exe");
//创建驱动
WebDriver driver = new EdgeDriver();
//图库网站
driver.get("https://www.wxept.com/");
for (int i = 1; i < 3; i++) {
//下载的位置
String file = "D:\\课件\\测试\\12.Selenium\\图片\\";
//取到图片
List<WebElement> thumbnail = driver.findElements(By.className("thumbnail"));
//遍历每一张图片
for (WebElement webElement : thumbnail) {
//取到每个图片的src 获取a标签下的img标签用tagName
WebElement img = webElement.findElement(By.tagName("img"));
String src = img.getAttribute("src");
//给每张图片一个名字
String path = file+ UUID.randomUUID().toString().replace("-","")+".jpg";
System.out.println(path);
//网络资源访问符
URL url = new URL(src);
//创建字节输入流
InputStream is = new DataInputStream(url.openStream());
//创建字节输出流
OutputStream os = new FileOutputStream(new File(path));
byte[] bytes = new byte[1024];
int n = 0;
while ((n = is.read(bytes)) != -1){
os.write(bytes,0,n);
}
os.close();
is.close();
}
//切换到下一页
driver.findElement(By.className("next-page")).click();
//等待
Thread.sleep(10000);
}
//关闭
driver.close();
//退出
driver.quit();
System.out.println("爬取完成");
}
}
效果展示: