Selenium+Jsoup框架实现爬虫与自动化测试实战

最新推荐文章于 2024-04-16 09:58:14 发布

热情的码农

最新推荐文章于 2024-04-16 09:58:14 发布

阅读量1.1k

点赞数 1

分类专栏：方案设计文章标签：爬虫 java 白箱测试测试工程师

本文链接：https://blog.csdn.net/weixin_37854829/article/details/115406817

版权

方案设计专栏收录该内容

2 篇文章 0 订阅

订阅专栏

爬虫的场景

小许同学想做一个新闻网站，但新闻网站需要很多新闻素材，并且新闻对实时性要求比较高，从发现新闻热点，写稿，审核，排版、发稿、投放需要多人多个部门协同完成，当你这些资源都不具备的时候，而你恰恰又有强烈的需求时，如果此刻你会一些爬虫技术，那么这些问题都迎刃而解，因为想喝牛奶，不一定真的要养一头奶牛。

一、什么是爬虫

网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 - 百度百科

个人通俗的理解就是：模拟人的行为去各个网站溜达,点点按钮,查查数据,或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去

二、爬虫协议

路边的野花不要踩，如果你控制不住，你偏要踩，小心回家跪搓衣板。那么爬虫也是一样，很多系统是很讨厌爬虫的，它们希望自己的业务数据不被窃取，而爬虫违背了它们利益，所以一不小心容易爬进监狱，监狱送福利，包吃包住，一日三餐东南海（冬瓜，南瓜，海带）。

但并不是所有的网站都讨厌爬虫，因为很多网站做SEO，它们希望被搜索引擎收录，被爬虫主流搜索引擎的爬虫抓取。比如：www.hao123.com，我们观察它的爬虫协议（https://www.hao123.com/robots.txt）就能看出它允许部分（百度、谷歌、有道、搜狗、搜搜）等爬虫对他进行蹂躏。其他的爬虫它一律不允许。如果你要强上，弄的不爽，那就是要告你的。

User-agent: Baiduspider
Allow: /

User-agent: Baiduspider-image
Allow: /

User-agent: Baiduspider-video
Allow: /

User-agent: Baiduspider-news
Allow: /

User-agent: Googlebot
Allow: /

User-agent: MSNBot
Allow: /

User-agent: YoudaoBot
Allow: /

User-agent: Sogou web spider
Allow: /

User-agent: Sogou inst spider
Allow: /

User-agent: Sogou spider2
Allow: /

User-agent: Sogou blog
Allow: /

User-agent: Sogou News Spider
Allow: /

User-agent: Sogou Orion spider
Allow: /

User-agent: JikeSpider
Allow: /

User-agent: Sosospider
Allow: /

User-agent: *
Disallow: /

如何查看爬虫协议：在网站根域名下，一般会放一个robots.txt文件，文件中会清楚的描述哪些允许，哪些不允许。如果没有放置这样的文件，那就不管啦，霸王硬上弓。

三、需要掌握的技能

1、	掌握一门基础语言，会基础的编码（本文例子以Java语言为例）
2、	掌握HTML+CSS+JavaScript 及盒子模型
3、	数据库+熟悉反爬策略

只讲理论不实战，那都是耍流氓。来，举栗子

四、Jsoup 实现简单爬虫

Jsoup是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。总之，如果对HTML页面很了解的话，是可以很容易的用Jsoup来抓取页面的信息的。

1、分析页面元素

通过浏览器打开 “开发者调试工具” 通过选择器审查页面元素，按照盒子模型思维分析页面元素信息，如下图所示：

页面元素定位路径：coolsites_wrapper->cool-row-> href

Jsoup 实现简单爬虫源代码入下：

package com.it.union;

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.helper.StringUtil;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;

/**
 * @author youyun.xu
 * @ClassName: Spider
 * @Description: Jsoup 实现简单爬虫
 * @date 2021/3/15 20:39
 */
public class Spider {

    static List<LinkEntity> stores = new ArrayList<>();
    
    public static void main(String[] args) {
            //1、与目标服务建立连接
        Connection connection = Jsoup.connect("https://www.***.com/");
        connection.header("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36");
          try {
              // 2、执行请求、解析结果
            Document document = connection.get();
            Element element = document.getElementById("coolsites_wrapper");
              // 3、定位到->"酷站列表"
            Elements elements = element.getElementsByClass("cool-row");
            Iterator iterator = elements.iterator();
              while (iterator.hasNext()) {
                Element ulElement = (Element) iterator.next();
                  // 4、获取当前盒子模型下<a>标签列表
                Elements links = ulElement.getElementsByTag("a");
                Iterator iteratorLinks = links.iterator();
                  // 5、迭代遍历超链接列表
                  while (iteratorLinks.hasNext()) {
                    Element items = (Element) iteratorLinks.next();
                      String text = items.text();
                      String attribute = items.select("a").attr("href");
                      if (StringUtil.isBlank(attribute) || StringUtil.isBlank(text)) {
                          continue;
                    }
                    stores.add(new LinkEntity(text, attribute));
                }
            }
            // 6、遍历爬取的结果（此处只做演示，不做任何存储操作）
            stores.parallelStream().forEach(item -> {
                System.out.println(item.getName() + " -> " + item.getUrl());
            });
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

class LinkEntity {

    private String name;
    private String url;

    public LinkEntity(String name, String url) {
        this.name = name;
        this.url = url;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getUrl() {
        return url;
    }

    public void setUrl(String url) {
        this.url = url;
    }
}

Jsoup 爬虫技术实现思路：

1、得到自己想要爬取数据的url，与服务器建立链接

2、通过Jsoup的jar包中的方法将Html解析成Document

3、使用Document中的一些列get、first、children等方法获取自己想要的数据，如图片地址、名称、时间。

4、将得到的数据封装成自己的实体类。将实体中的数据在页面加载出来。

Jsoup 爬虫框架的不足：

只有html元素有的情况下，才能通过jsoup来爬虫，如果是这接口获得的数据，那么通过jsoup是无法获取到的。

五、Selenium 自动化测试+爬虫

Selenium 是一款自动化测试框架，支持多种主流的开发，对各种开发语言提供了丰富的API，通过API你可以快速定位页面元素，模拟用户点击，滑动，翻页，截屏等一系列操作。它可模拟用户真实操作行为，并且是基于真实浏览器运行环境，所以在自动化测试中受到了很多测试同学的青睐。当别人叫“WebDriver” 时你不要懵逼，不要换个马甲就不认识了，其实它也就是Selenium2，Selenium3

Selenium 实现简单爬虫+自动化测试 源代码入下：

package com.it.union;

import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;

import java.util.List;
import java.util.concurrent.TimeUnit;

/**
 * @author youyun.xu
 * @ClassName: SeleniumSpider
 * @Description: 使用Java+Selenium 自动框架实现爬虫
 * @date 2021/3/31 20:08
 */
public class SeleniumSpider {

    private static ChromeOptions initChromeOptions(){
        ChromeOptions options = new ChromeOptions();
        /*
            // 启动时自动最大化窗口
            options.addArguments("--start-maximized");
            // 禁用阻止弹出窗口
            options.addArguments("--disable-popup-blocking");
            // 启动无沙盒模式运行
            options.addArguments("no-sandbox");
            // 禁用扩展
            options.addArguments("disable-extensions");
            // 默认浏览器检查
            options.addArguments("no-default-browser-check");
            // 设置chrome 无头模式
            options.setHeadless(Boolean.TRUE);
            //不用打开图形界面。
            options.addArguments("--headless");
        */
        options.setBinary("C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe");
        return options;
    }
    private static WebDriver initWebDriver (ChromeOptions options){
        WebDriver webDriver = new ChromeDriver(options);
        webDriver.manage().window().maximize();
        webDriver.manage().timeouts().implicitlyWait(10,TimeUnit.SECONDS);
        return webDriver;
    }


    public static void main(String [] args){
        // 1、设置chrome浏览器驱动
        System.setProperty("webdriver.chrome.driver", "D:\\tools\\chromedriver_win32\\chromedriver.exe");
        // 2、设置ChromeOptions
        ChromeOptions chromeOptions= initChromeOptions();
        // 3、初始化一个浏览器实例
        WebDriver webDriver= initWebDriver(chromeOptions);
        // 4、加载网页程序（某度）
        webDriver.get("https://image.baidu.com");
        // 5、通过ID选择器定位输入框,并设置搜索关键字”帅哥“
        webDriver.findElement(By.id("kw")).sendKeys("帅哥");
        // 6、通过Class类样式选择器定位,模拟点击事件并提交表单
        webDriver.findElement(By.className("s_btn")).submit();
        // 7、加载第二个页面：展示搜索页面元素信息
        WebElement webElement = webDriver.findElement(By.id("imgid"));
        // 8、定位搜索到所有图片元素
        List<WebElement> imgs= webElement.findElements(By.className("imgbox"));
        // 9、异步获取图片地址
        syncThread(imgs);
        // 10、模拟页面图片点击事件
        imgs.forEach(images ->{
            images.click();
        });
    }

    public static void syncThread(List<WebElement> imgs){
        Thread thrad = new Thread(new myThread(imgs));
        thrad.start();
    }
}

class myThread implements Runnable{
    List<WebElement> imgs;

    public myThread(List<WebElement> imgs) {
        this.imgs = imgs;
    }

    @Override
    public void run() {
        imgs.forEach(images ->{
            WebElement currentImages= images.findElement(By.className("main_img"));
            String src=currentImages.getAttribute("src");
            System.out.println("图片地址：->" + src);
            //此处发挥自己想象（是杀是留，请君自便）
        });
    }
}

Selenium 核心步骤如下：

1、下载对应版本驱动

2、安装浏览器产品，并定位至浏览器运行程序

#  Chrome各版本驱动的下载地址http://chromedriver.storage.googleapis.com/index.html#  Firefox浏览器对应各个版本驱动下载地址：https://github.com/mozilla/geckodriver/releases/

3、设置chrome浏览器驱动

4、设置ChromeOptions

5、初始化一个浏览器实例

6、加载网页程序（某度）

7、通过ID选择器定位输入框,并设置搜索关键字”帅哥“

8、通过Class类样式选择器定位,模拟点击事件并提交表单

9、加载第二个页面：展示搜索页面元素信息

10、定位搜索到所有图片元素

11、异步获取图片地址

12、模拟页面图片点击事件

今天太晚啦，反爬虫策略还有一个章节内容，各大厂商何有自己的自己反爬虫策略，本篇文章就不再做介绍了。

热情的码农

关注

1
点赞
踩
6

收藏

觉得还不错? 一键收藏
打赏
0
评论
Selenium+Jsoup框架实现爬虫与自动化测试实战

爬虫的场景小许同学想做一个新闻网站，但新闻网站需要很多新闻素材，并且新闻对实时性要求比较高，从发现新闻热点，写稿，审核，排版、发稿、投放需要多人多个部门协同完成，当你这些资源都不具备的时候，而你恰恰又有强烈的需求时，如果此刻你会一些爬虫技术，那么这些问题都迎刃而解，因为想喝牛奶，不一定真的要养一头奶牛。一、什么是爬虫网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索
复制链接

扫一扫