Selenium入门

安离九歌

已于 2022-12-07 16:58:22 修改

阅读量1.5k

点赞数

文章标签：爬虫 selenium 测试工具

于 2022-10-26 20:34:39 首次发布

本文链接：https://blog.csdn.net/qq_62331938/article/details/127106252

版权

前言

之前分享完了Git，主要分享的是怎么上手，可以根据内容学习其他的比如gitlab。平时在网上找图片一个一个下载，或者看小说想下载，但是没给你下载的地址，咱就自己下，批量下。所以这就分享一下selenium的爬虫相关的知识。

一、selenium是什么？

Selenium是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中，就像真正的用户在
操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。
适用于自动化测试，js动态爬虫（破解反爬虫）等领域。

二、selenium的组成

1）Selenium IDE：嵌入到Firefox浏览器中的一个插件，实现简单的浏览器操作录制与回放功能，主要用于快速创建BUG及重现脚本，可转化为多种语言

2）Selenium RC：核心组件，支持多种不同语言编写自动化测试脚本，通过其服务器作为代理服务器去访问应用，达到测试的目的

3）Selenium WebDriver（重点）：一个浏览器自动化框架，它接受命令并将它们发送到浏览器。它是通过特定于浏览器的驱动程序实现的。它直接与浏览器通信并对其进行控制。Selenium WebDriver支持各种编程语言，如Java、C# 、PHP、Python、Perl、Ruby

4）Selenium grid：测试辅助工具，用于做分布式测试，可以并行执行多个测试任务，提升测试效率。

三、Selenium特点

1）开源、免费
2）多浏览器支持:FireFox、Chrome、IE、Opera、Edge;
3）多平台支持:Linux、Windows、MAC;
4）多语言支持:Java、Python、Ruby、C#、JavaScript、C++;
5）对Web页面有良好的支持；
6）简单(API 简单)、灵活(用开发语言驱动);
7）支持分布式测试用例执行。

四、实际使用

用的是maven，浏览器用的Google。

1、首先下载驱动

咱先看看自己的谷歌的版本

然后去这里====》http://chromedriver.storage.googleapis.com/index.html下载对应版本的驱动。

确认主版本号一致

看自己的版本下载。

2、创建项目并导入依赖

<dependency>
        <groupId>org.seleniumhq.selenium</groupId>
        <artifactId>selenium-java</artifactId>
        <version>3.141.59</version>
     </dependency>

3、入门使用

  //设置驱动
        System.setProperty("webdriver.chrome.driver","D:\\Software\\chromedriver_win32\\chromedriver.exe");
        //创建驱动
        WebDriver driver=new ChromeDriver();
        //与将要爬取的网站建立连接
        driver.get("https://www.baidu.com");
        //关闭浏览器
        driver.close();
//      //释放资源
        driver.quit();

4、相关API

1.元素选择方式

         1）Class选择：driver.findElement(By.className("s_ipt"));
         2）ID选择： driver.findElement(By.id("kw"));
         3）name选择： driver.findElement(By.name("wd"));
         4）tag选择： driver.findElements(By.tagName("input"));
         5）link选择： driver.findElement(By.linkText("地图"));
         6）Partial link选择（a标签文本内容模糊匹配）：driver.findElement(By.partialLinkText("使用百"));
         7）css选择器：driver.findElement(By.cssSelector("#kw"));
         8）xpath选择：driver.findElement(By.xpath("//*[@id=\"kw\"]"));

2.获取单个元素：driver.findElement

3.获取多个元素：driver.findElements

4.输入内容：input.sendKeys("java");

5.元素点击：element.click();

6.获取元素属性：nextPageEle.getAttribute("class")

7.获取标签文本内容：titleEle.getText()

5、案例

1、Class选择

//        1、Class选择
        WebElement s_btn = driver.findElement(By.className("s_btn"));
        System.out.println(s_btn.getAttribute("value"));

2、ID选择

 // 2、ID选择
        WebElement su = driver.findElement(By.id("su"));
        System.out.println(su.getAttribute("value"));

3、name选择

//        3、name选择
        WebElement rsv_pq = driver.findElement(By.name("rsv_pq"));
        System.out.println(rsv_pq.getAttribute("value"));

4、tag选择1

//       4、tag选择
        List<WebElement> eles = driver.findElements(By.tagName("a"));
        for (WebElement ele : eles) {
            System.out.println(ele.getText());
        }

5、link选择

//        5、link选择
        WebElement dt = driver.findElement(By.linkText("地图"));
        dt.click();

6、Partial link选择

//        6、partial link选择（a标签文本内容模糊匹配）
        List<WebElement> eles = driver.findElements(By.partialLinkText("3"));
        for (WebElement ele : eles) {
            System.out.println(ele.getText());
        }

7、css选择器

//        7、css选择
        WebElement ele = driver.findElement(By.cssSelector("#hotsearch-content-wrapper > li:nth-child(6) > a > span.title-content-title"));
        System.out.println(ele.getText());

8、xpath选择

//        8、xpath选择
        WebElement ele = driver.findElement(By.xpath("//*[@id=\"hotsearch-content-wrapper\"]/li[4]/a/span[2]"));
        System.out.println(ele.getText());