Java爬虫入门详解(Selenium)

本文详细介绍了Selenium工具的用途、组成、特点,并通过实例展示了如何使用Selenium进行网页元素操作、爬取京东商品信息以及图片。此外,还提供了爬取网页图片的代码示例,帮助读者深入理解Selenium在自动化测试和爬虫领域的应用。
摘要由CSDN通过智能技术生成

目录

一、Selenium简介

二、Selenium组成

三、Selenium特点

四、案例演示

1.下载驱动包

2.创建项目并导入依赖

3.基础配置

4.案例演示

1.元素选择方式

2.在文本框中输入内容

3.获取单个元素

4.获取多个元素

五、爬取JD商品信息

1.初始化设置

2.获取京东网站首页查询按钮并完成点击事件(进入页面自动查询)

3.设置滚动条移动到最下面

4.获取商品

六、爬取图片


一、Selenium简介

     Selenium是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中,就像真正的用户在
 操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。
 适用于自动化测试,js动态爬虫(破解反爬虫)等领域。

Selenium的核心Selenium Core基于JsUnit,
完全由JavaScript编写,因此可以用于任何支持JavaScript的浏览器上。
selenium可以模拟真实浏览器,自动化测试工具,支持多种浏览器,

二、Selenium组成

  • Selenium IDE:嵌入到Firefox浏览器中的一个插件,实现简单的浏览器操作录制与回放功能,主要用于快速创建BUG及重现脚本,可转化为多种语言
  • Selenium RC: 核心组件,支持多种不同语言编写自动化测试脚本,通过其服务器作为代理服务器去访问应用,达到测试的目的
  • Selenium WebDriver(重点):一个浏览器自动化框架,它接受命令并将它们发送到浏览器。它是通过特定于浏览器的驱动程序实现的。它直接与浏览器通信并对其进行控制。Selenium WebDriver支持各种编程语言,如Java、C# 、PHP、Python、Perl、Ruby
  • Selenium grid:测试辅助工具,用于做分布式测试,可以并行执行多个测试任务,提升测试效率。

三、Selenium特点

  1. 开源、免费
  2. 多浏览器支持:FireFox、Chrome、IE、Opera、Edge;
  3. 多平台支持:Linux、Windows、MAC;
  4. 多语言支持:Java、Python、Ruby、C#、JavaScript、C++;
  5. 对Web页面有良好的支持;
  6. 简单(API 简单)、灵活(用开发语言驱动);
  7. 支持分布式测试用例执行。

四、案例演示

1.下载驱动包

谷歌下载地址:http://chromedriver.storage.googleapis.com/index.html

如果在下载地址中找不到与自己浏览器完全匹配的版本,可以用相近的版本

2.创建项目并导入依赖

<dependency>
   <groupId>org.seleniumhq.selenium</groupId>
   <artifactId>selenium-java</artifactId>
   <version>3.141.59</version>
</dependency>

3.基础配置

        //设置驱动
        System.setProperty("webdriver.chrome.driver","C:\\Users\\Administrator\\AppData\\Local\\Google\\Chrome\\Application\\chromedriver.exe");
        //创建驱动
        WebDriver driver=new ChromeDriver();
        //与将要爬取的网站建立连接
        driver.get("https://www.baidu.com/");

4.案例演示

1.元素选择方式

Class:

List<WebElement> elements = driver.findElements(By.className("hotsearch-item"));
        for (WebElement element : elements) {
            System.out.println(element.getText());
        }

 ID:

WebElement kw = driver.findElement(By.id("kw"));
        System.out.println(kw.getAttribute("name"));

 

name:

WebElement tn = driver.findElement(By.name("tn"));
        System.out.println(tn.getAttribute("value"));

 

 tag:

List<WebElement> input = driver.findElements(By.tagName("input"));
        for(WebElement webElement:input){
            String value = webElement.getAttribute("value");
            System.out.println(value);
        }

link:

List<WebElement> elements = driver.findElements(By.linkText("地图"));
        for (WebElement element : elements){
            System.out.println(element.getText());
        }

 

Partial link选择(a标签文本内容模糊匹配):

List<WebElement> elements = driver.findElements(By.partialLinkText("中国"));
        for (WebElement element : elements){
            System.out.println(element.getText());
        }

 

css选择器:

List<WebElement> elements = driver.findElements(By.cssSelector("#hotsearch-content-wrapper > li:nth-child(even)"));
        for (WebElement element : elements){
            System.out.println(element.getText());

 

 xpath选择:

WebElement element = driver.findElement(By.xpath("//*[@id=\"kw\"]"));
        System.out.println(element.getAttribute("class"));

 

2.在文本框中输入内容

WebElement kw = driver.findElement(By.id("kw"));
        kw.sendKeys("java");
        WebElement button=driver.findElement(By.id("su"));
        button.click();

3.获取单个元素

WebElement element = driver.findElement(By.name("ie"));
        System.out.println(element.getAttribute("value"));

 

4.获取多个元素

List<WebElement> elements = driver.findElements(By.partialLinkText("大"));
        for (WebElement element : elements){
            System.out.println(element.getText());
        }

 

五、爬取JD商品信息

1.初始化设置

    public static void main(String[] args) {
        //将驱动加载到Java的JVM虚拟机中
        System.setProperty("webdriver.chrome.driver","C:\\Users\\Administrator\\AppData\\Local\\Google\\Chrome\\Application\\chromedriver.exe");
        //初始化驱动
        WebDriver driver = new ChromeDriver();
        //设置爬取网站
        driver.get("https://www.jd.com/");
    }

2.获取京东网站首页查询按钮并完成点击事件(进入页面自动查询)

//获取京东网站首页查询条件输入框
WebElement key = driver.findElement(By.id("key"));
key.sendKeys("人妻");
//获取京东网站首页查询按钮并完成点击事件
WebElement button = driver.findElement(By.cssSelector("button.button"));
button.click();

3.设置滚动条移动到最下面

        //滚动前先睡眠一会
        sleep(3);
        //设置滚动条移动到最下面
        ((JavascriptExecutor) driver).executeScript("window.scrollTo(0,document.body.scrollHeight)");
        sleep(2);

4.获取商品

        *[@id="J_goodsList"]/ul/li[3]
        //获取查询页面中的所有商品
        List<WebElement> elements = driver.findElements(By.xpath("//*[@id=\"J_goodsList\"]/ul/li"));
        for (WebElement element : elements) {
            String price = element.findElement(By.className("p-price")).getText();
            String name = element.findElement(By.className("p-name")).getText();
            System.out.println("【"+price+"】-"+name);
        }

5.完整代码

package com.zhq.selenium;

import org.openqa.selenium.By;
import org.openqa.selenium.JavascriptExecutor;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;

import java.util.List;

public class Demo2 {
    public static void main(String[] args) {
        //将驱动加载到Java的JVM虚拟机中
        System.setProperty("webdriver.chrome.driver","C:\\Users\\Administrator\\AppData\\Local\\Google\\Chrome\\Application\\chromedriver.exe");
        /************************** 方式一:不打开浏览器 **************************/
        //定义浏览器参数
        //ChromeOptions chromeOptions = new ChromeOptions();
        //设置不打开浏览器
        //chromeOptions.addArguments("--headless");
        //初始化驱动
        //WebDriver driver = new ChromeDriver(chromeOptions);

        /************************** 方式二:打开浏览器 **************************/
        //初始化驱动
        WebDriver driver = new ChromeDriver();
        //设置爬取网站
        driver.get("https://www.jd.com/");
        //获取京东网站首页查询条件输入框
        WebElement key = driver.findElement(By.id("key"));
        key.sendKeys("人妻");
        //获取京东网站首页查询按钮并完成点击事件
        WebElement button = driver.findElement(By.cssSelector("button.button"));
        button.click();
        //滚动前先睡眠一会
        sleep(3);
        //设置滚动条移动到最下面
        ((JavascriptExecutor) driver).executeScript("window.scrollTo(0,document.body.scrollHeight)");
        sleep(2);

        *[@id="J_goodsList"]/ul/li[3]
        //获取查询页面中的所有商品
        List<WebElement> elements = driver.findElements(By.xpath("//*[@id=\"J_goodsList\"]/ul/li"));
        for (WebElement element : elements) {
            String price = element.findElement(By.className("p-price")).getText();
            String name = element.findElement(By.className("p-name")).getText();
            System.out.println("【"+price+"】-"+name);
        }
    }
    public static void sleep(int num){
        try{
            Thread.sleep(num * 1000L);
        }catch (InterruptedException e){
            e.printStackTrace();
        }
    }
}

六、爬取图片

某些网站会有反爬虫技术可能访问不到 

package com.zhq.selenium;

import org.openqa.selenium.By;
import org.openqa.selenium.JavascriptExecutor;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import sun.net.www.protocol.http.HttpURLConnection;

import java.io.*;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.List;
import java.util.UUID;

public class Demo3 {

    //定义Driver驱动
    public static WebDriver driver=null;

    //定义List集合,用于存储爬取数据中的图片路径
    public static List<String> imgs=new ArrayList<>();

    static{
        //将驱动加载到Java的JVM虚拟机中
        System.setProperty("webdriver.chrome.driver","C:\\Users\\Administrator\\AppData\\Local\\Google\\Chrome\\Application\\chromedriver.exe");
        //初始化驱动
        driver = new ChromeDriver();
    }

    public static void sleep(int num){
        try {
            Thread.sleep(num*1000L);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }

    public static void getImgs(){
        //设置爬取网站
        driver.get("http://www.gaoimg.com/");
        sleep(3);
        //设置滚动条移动到最下面
        ((JavascriptExecutor) driver).executeScript("window.scrollTo(0,document.body.scrollHeight)");
        sleep(2);

        //定义爬取的节点
        ///html/body/div[8]/ul/li[2]/a/img
        *[@id="inspiration__content-item-3"]/div/a/div[3]/img
        *[@id="inspiration__content-item-0"]/div[2]/a[1]/div[3]/img
        //#inspiration__content-item-0 > div.inspiration__content-item-list > a > div.s-c__ct > img

        List<WebElement> elements = driver.findElements(By.cssSelector("body > div.tuijiantupian > div.flex-images > div > a > img"));
        //循环遍历所有img元素节点
        for (WebElement element : elements) {
            String src = element.getAttribute("src");
            if(null!=src)
                imgs.add(src);
        }
    }

    public static void saveImg(){
        try{
            String path="D:\\images\\";
            URL url=null;
            for (String img : imgs) {
                url=new URL(img);
                InputStream is=new DataInputStream(url.openStream());
                String fileName=path+ UUID.randomUUID().toString().replace("-","")+".jpg";
                OutputStream out=new FileOutputStream(new File(fileName));
                byte[] bytes=new byte[1024];
                int len=0;
                while((len=is.read(bytes))!=-1){
                    out.write(bytes,0,len);
                }
                is.close();
                out.close();
            }
        }catch (Exception e){
            e.printStackTrace();
        }
    }

    public static void main(String[] args) {
        try {
            //爬取图片路径
            getImgs();
            //循环打印图片路径
            for (String img : imgs) {
                System.out.println(img);
            }
            //保存图片
            saveImg();
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            //一定要记得下载完图片之后释放资源
            if(null!=driver)
                driver.quit();
        }
    }
}

博主水平有限,难免有错。欢迎评论交流

  • 18
    点赞
  • 89
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值