jsoup的使用

最新推荐文章于 2024-04-30 14:28:06 发布
最新推荐文章于 2024-04-30 14:28:06 发布
阅读量350 收藏
点赞数
分类专栏： 笔记 文章标签： java jsoup 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44777669/article/details/111568745
版权

jsoup的使用

这里面都是一些测试文件，用于以后参考使用

 /**
     * @deprecated 这是老方式爬取了，效率太慢了
     * https://www.bilibili.com/video/BV1uf4y127Ab
     * 小时候看笑话，长大后看真实
     * //space.bilibili.com/13899470
     * 喜娃桑
     */
    public static List<BVideoRank> bVideoRankArraylist(Integer BvRankzone) {

        List<BVideoRank> bVideoRankList = new ArrayList<>();
        log.info("==========耐心等待几分钟==========");
        //        解析页面(jsoup返回document就是document对象)
        //Document document = jsoupUtil.getHtmlContent(bilibiliConstants.RANK_URL_PREFIX + LeaderboardTypeConstants.ALL.getValue() + "/" + BvRankzone + bilibiliConstants.RANK_URL_SUFFIX);
        //int videoRankCount = bilibiliConstants.VIDEO_DATA_FLAG;
        //for (Element element : document.select("li[class=rank-item]")) {
        //    String bvNumber = element.select(".img").select("a").attr("href").split("/")[4];
        //    String bvTitle = BVStringUtil.filterEmoji(element.select(".img").select("img").attr("alt"));
        //    String bvUpuuid = element.select(".detail").select("a").attr("href").split("/")[3];
        //    String bvUp = BVStringUtil.filterEmoji(element.select(".detail").select("a").select("span").text());
        //    String bvScore = element.select(".pts").text().split(" ")[0];
        //    BVideoRank bVideoRank = new BVideoRank();
        //    bVideoRank.setBvNumber(bvNumber);
        //    bVideoRank.setBvRanknum(videoRankCount);
        //    bVideoRank.setBvTitle(bvTitle);
        //    bVideoRank.setBvTime(DateUtils.getLocalCurrentDate());
        //    bVideoRank.setBvRankzone(BvRankzone);
        //    bVideoRank.setBvScore(bvScore);
        //    bVideoRank.setBvUp(bvUp);
        //    bVideoRank.setBvUpuuid(bvUpuuid);
        //    bVideoRankList.add(bVideoRank);
        //    videoRankCount++;
        //}

        return bVideoRankList;

    }

import javax.net.ssl.HttpsURLConnection;
import javax.net.ssl.SSLContext;
import javax.net.ssl.X509TrustManager;
import java.security.SecureRandom;
import java.security.cert.CertificateException;
import java.security.cert.X509Certificate;

public class HttpsUtil {


    /**
     * 信任任何站点，实现https页面的正常访问
     */

    public static void trustEveryone() {
        try {
            HttpsURLConnection.setDefaultHostnameVerifier((hostname, session) -> true);
            SSLContext context = SSLContext.getInstance("TLS");
            context.init(null, new X509TrustManager[]{new X509TrustManager() {
                @Override
                public void checkClientTrusted(X509Certificate[] chain, String authType) throws CertificateException {
                }

                @Override
                public void checkServerTrusted(X509Certificate[] chain, String authType) throws CertificateException {
                }

                @Override
                public X509Certificate[] getAcceptedIssuers() {
                    return new X509Certificate[0];
                }
            }}, new SecureRandom());
            HttpsURLConnection.setDefaultSSLSocketFactory(context.getSocketFactory());
        } catch (Exception e) {
            // e.printStackTrace();
        }
    }
}




import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import java.io.IOException;
import java.net.MalformedURLException;

public class httptest {
    public static void main(String[] args) {

        //WebClient webClient = new WebClient(BrowserVersion.CHROME);
        支持JavaScript
        //webClient.getOptions().setJavaScriptEnabled(true);//启用JS解释器，默认为true
        //webClient.getOptions().setCssEnabled(false);//禁用css支持
        //webClient.getOptions().setActiveXNative(false);
        //webClient.getOptions().setCssEnabled(false);
        //webClient.getOptions().setThrowExceptionOnScriptError(false);
        //webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
        //webClient.getOptions().setTimeout(1000);
        //webClient.getOptions().setUseInsecureSSL(true);
        //HtmlPage rootPage = null;
        //try {
        //    rootPage = webClient.getPage("https://www.bilibili.com/video/BV1Hk4y1r7D3");
        //} catch (FailingHttpStatusCodeException | IOException e) {
        //    e.printStackTrace();
        //}
        设置一个运行JavaScript的时间
        //webClient.waitForBackgroundJavaScript(1000);
        //assert rootPage != null;
        //String html = rootPage.asXml();
        //Document doc = Jsoup.parse(html);
        //
        //
        //System.out.println(doc.getElementsByClass("ops").html());
    }
}


package com.site.bdata.test;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import javax.net.ssl.HttpsURLConnection;
import javax.net.ssl.SSLContext;
import javax.net.ssl.X509TrustManager;
import java.io.IOException;
import java.security.SecureRandom;
import java.security.cert.CertificateException;
import java.security.cert.X509Certificate;

public class JsoupSSL {
    public static void main(String[] args) throws IOException {
        Document document = Jsoup.connect("https://www.bilibili.com/video/online.html").validateTLSCertificates(true).get();
        System.out.println(document);
    }

    /**
     * 现在很多站点都是SSL对数据传输进行加密，这也让普通的HttpConnection无法正常的获取该页面的内容，
     * 而Jsoup起初也对此没有做出相应的处理，
     * 想了一下是否可以让Jsoup可以识别所有的SSL加密过的页面，查询了一些资料，发现可以为本地HttpsURLConnection配置一个“万能证书”，其原理是就是：
     * 重置HttpsURLConnection的DefaultHostnameVerifier，使其对任意站点进行验证时都返回true
     * 重置httpsURLConnection的DefaultSSLSocketFactory， 使其生成随机证书
     * 后来Jsoup Connection提供了validateTLSCertificates(boolean validate)//是否进行TLS证书验证,不推荐
     */
    static {
        try {
            // 重置HttpsURLConnection的DefaultHostnameVerifier，使其对任意站点进行验证时都返回true
            HttpsURLConnection.setDefaultHostnameVerifier((hostname, session) -> true);
            // 创建随机证书生成工厂
            SSLContext context = SSLContext.getInstance("TLS");
//            SSLContext context = SSLContext.getInstance("TLSv1.2");
            context.init(null, new X509TrustManager[]{new X509TrustManager() {
                @Override
                public void checkClientTrusted(X509Certificate[] chain, String authType) throws CertificateException {
                }

                @Override
                public void checkServerTrusted(X509Certificate[] chain, String authType) throws CertificateException {
                }

                @Override
                public X509Certificate[] getAcceptedIssuers() {
                    return new X509Certificate[0];
                }
            }}, new SecureRandom());

            // 重置httpsURLConnection的DefaultSSLSocketFactory， 使其生成随机证书
            HttpsURLConnection.setDefaultSSLSocketFactory(context.getSocketFactory());
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

}


import java.io.IOException;
import java.util.logging.Level;

public class jsouptest {
    public static void main(String[] args) throws IOException {
//        String url = "https://www.toutiao.com/";
        Connection connect = Jsoup.connect(url);
        Document document = connect.get();
        System.out.println(document);
//
//        //构造一个webClient 模拟Chrome 浏览器
//        WebClient webClient = new WebClient(BrowserVersion.CHROME);
屏蔽日志信息
        LogFactory.getLog().setAttribute("org.apache.commons.logging.Log", "org.apache.commons.logging.impl.NoOpLog");
        java.util.logging.Logger.getLogger("com.gargoylesoftware").setLevel(Level.OFF);
支持JavaScript
//        webClient.getOptions().setJavaScriptEnabled(true);
//        webClient.getOptions().setCssEnabled(false);
//        webClient.getOptions().setActiveXNative(false);
//        webClient.getOptions().setCssEnabled(false);
//        webClient.getOptions().setThrowExceptionOnScriptError(false);
//        webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
//        webClient.getOptions().setTimeout(5000);
//        HtmlPage rootPage = webClient.getPage(url);
//        //设置一个运行JavaScript的时间
//        webClient.waitForBackgroundJavaScript(5000);
//        String html = rootPage.asXml();
//
//        Document document = Jsoup.parse(html);
//        System.out.println(document);

    }
}


package com.site.bdata.util;


import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import java.net.MalformedURLException;
import java.net.URL;

/**
 * @author Programmer Li
 */
public class jsoupUtil {
    //private static String getHtmlPageResponse(String url) throws Exception {
    //    //请求超时时间,默认200秒
    //    int timeout = 9000;
    //    //等待异步JS执行时间,默认200秒
    //    int waitForBackgroundJavaScript = 9000;
    //    String result = "";
    //    final WebClient webClient = new WebClient(BrowserVersion.CHROME);
    //    //当JS执行出错的时候是否抛出异常
    //    webClient.getOptions().setThrowExceptionOnScriptError(false);
    //    //当HTTP的状态非200时是否抛出异常
    //    webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
    //    webClient.getOptions().setActiveXNative(false);
    //    // -----重点-----设置为我们自定义的错误处理类
    //    webClient.setJavaScriptErrorListener(new MyJSErrorListener());
    //
    //    //是否启用CSS
    //    webClient.getOptions().setCssEnabled(false);
    //    //很重要，启用JS
    //    webClient.getOptions().setJavaScriptEnabled(true);
    //    //很重要，设置支持AJAX
    //    webClient.setAjaxController(new NicelyResynchronizingAjaxController());
    //    //设置“浏览器”的请求超时时间
    //    webClient.getOptions().setTimeout(timeout);
    //    //设置JS执行的超时时间
    //    webClient.setJavaScriptTimeout(timeout);
    //    HtmlPage page;
    //    try {
    //        page = webClient.getPage(url);
    //    } catch (Exception e) {
    //        webClient.close();
    //        throw e;
    //    }
    //    //该方法阻塞线程
    //    webClient.waitForBackgroundJavaScript(waitForBackgroundJavaScript);
    //    result = page.asXml();
    //    webClient.close();
    //    return result;
    //}

    //public static Document getHtmlContent(String url){
    //    // 发起请求
    //    String content = null;
    //    try {
    //        content = getHtmlPageResponse(url);
    //    } catch (Exception e) {
    //        e.printStackTrace();
    //    }
    //    // 解析网页 得到文档对象
    //    return Jsoup.parse(content);
    //}


    /**
     * 忽略html unit打印的所有js加载报错信息
     */
    //public static class MyJSErrorListener extends DefaultJavaScriptErrorListener {
    //    @Override
    //    public void scriptException(HtmlPage page, ScriptException scriptException) {
    //    }
    //
    //    @Override
    //    public void timeoutError(HtmlPage page, long allowedTime, long executionTime) {
    //    }
    //
    //    @Override
    //    public void malformedScriptURL(HtmlPage page, String url, MalformedURLException malformedURLException) {
    //
    //    }
    //
    //    @Override
    //    public void loadScriptError(HtmlPage page, URL scriptUrl, Exception exception) {
    //
    //    }
    //
    //    @Override
    //    public void warn(String message, String sourceName, int line, String lineSource, int lineOffset) {
    //
    //    }
    //}

    //public static void main(String[] args) {
    //    Document htmlContent = getHtmlContent("https://www.bilibili.com/video/BV1Vk4y1r7qs");
    //    System.out.println(htmlContent.getElementsByClass("ops").html());
    //
    //}
}
唥雨凊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【STM32F407学习笔记】时钟树和SysTick精准延时
wlisontj的博客
06-04 2051
时钟系统是CPU的“脉搏”。只有有了系统时钟单片机才会协调、稳定的工作。STM32F4的时钟系统比较复杂，不像简单的51单片机一个系统时钟就可以解决一切问题。SysTick一系列定时器，是属于CortexM4内核中的一个外设，内嵌在NVIC中。系统定时器是一个24bit的向下递减的计数器。计数器每计数一次的时间为：1/SYSCLK。当重装载数值寄存器的值递减到0时，系统定时器产生一次中断，以此循环往复。fff代表频率，单位是HZ（次/秒）；TTT代表周期，单位是s(秒)。fHz1T。
数字后端基础技能之：CTS（中篇）
sinat_41774721的博客
06-28 2136
CTS
2024年Java爬虫利器：Jsoup详细介绍与用法_java jsoup(1)
最新发布
2401_84562143的博客
04-30 627
/ 加载新闻网站的HTML文档。// 加载图片网站的HTML文档。
STM32F4xx的时钟树
01-31 4314
STM32F4xx的时钟树。 注意点 1：STMF4xx系统共计有三个主要时钟源（HSI、HSE和PLL）和两个次要时钟源（LSE、LSI）。 2：SYSCLK可以来自HSI、HSE和PLL，多数采用PLL频率最高能达到168MHz。 3：RTC时钟可以来自LSE、LSI和HSE，但只有用LSE时，才能保证系统电源掉电时RTC仍能正常工作。 4：可通过多个预分频器配置 AHB 频率、...
后端设计中的特殊cell大盘点
nuoweishizi的博客
01-06 1万+
后端设计中的特殊cell大盘点 后端设计中有几种常见的特殊cell类型，它们基本上都是physical only cell，但是各自的特点却又不同，而且不同的工具设置和插入他们的方式也不尽相同。‍ Well Tap Cells 我们在学习CMOS电路的时候都知道闩锁效应（latch-up），这种效应可以在短时间内烧毁CMOS器件。 为了阻止这种现象的发生，后端设计通常会在std cell存在的区域加入well tap cell。一般来说工艺规则会要求在well tap cell的密度不低于某一特定数值，而后
盘点数字IC后端实现中clock skew大的各种场景
weixin_37584728的博客
04-28 3417
盘点数字IC后端实现中clock skew大的各种场景 转载至：https://mp.weixin.qq.com/s/vR6S-lgsWyESsk1kTvCVng 在分享今天的技术主题之前，告诉大家一个好消息。年底了，很多小伙伴们又开始着手换工作了，因此，应各位邀请小编准备开始尝试IC 前后端招聘相关的业务服务。简单来说就是，各位如果想换个更好的工作，可以私信（微信号：ic-backend2018)，小编会帮你出谋划策，避坑，做好职业规划甚至提供技术指导。最重要的是这项服务还是免费的，对的，你没有看错，完全
itextpdf测试样例和jar jsoup使用说明
07-14
itextpdf测试样例和jar jsoup使用说明
Jsoup解析与使用
05-03
jsoup获取网站资源，按照自己的思路写自己的APP。
java使用Jsoup组件生成word文档
10-26
java使用Jsoup组件生成word文档的方法
Jsoup
08-31
Jsoup
jsoup开发例子学习使用
07-30
如何使用jsoup
【12】STM32·HAL库开发-STM32时钟系统 | F1/F4/F7时钟树 | 配置系统时钟
小浪宝宝的博客
07-26 3279
下图的clk是clock（时钟）的缩写，下面的波形可以理解为脉冲信号或者方波。简单来说，时钟是具有周期性的脉冲信号，最常用的是占空比50%的方波。时钟是单片机的脉搏，搞懂时钟走向及关系，对单片机使用至关重要！
STM32F40X之时钟树
weixin_52483742的博客
10-20 209
STM32F40X之时钟树
innovus/ICC2: clock balance group
m0_61544122的博客
09-30 1483
工具根据sdc的定义会自动balance一个clock group的clock ，但是工具也提供命令，允许用户自定义balance group。 ICC2: create_clock_balance_group -name group1 -objects {clk1 clk2} -offset_latencis {0 -100} 工具默认会把group内的clock，工具也支持用offset_latencies指定相对的长度。 INNOVUS: create_ccopt_skew_group
使用markdown画流程图、时序图等
учёба
11-30 1957
使用markdown画流程图、时序图等
STM32系统学习——RCC（使用HSE/HSI配置时钟）
热门推荐
zxh1592000的博客
11-27 5万+
**STM32系统学习——RCC（使用HSE/HSI配置时钟）** RCC ：reset clock control 复位和时钟控制器。我们主要讲解时钟部分，特别是要着重理解时钟树，理解了时钟树，STM32 的一切时钟的来龙去脉都会了如指掌。包括RCC主要作用——时钟部分 系统时钟 其他时钟 以及使用HSE/HSI配置系统时钟
ICC2 user guide（三）Clock Tree Synthesis
m0_61544122的博客
06-07 7652
ICC2（三）Clock Tree Synthesis user guide解析
Etnercat分布时钟详解
PI_sunyang的博客
10-31 7683
*分布式时钟是EtherCAT技术的亮点之一。由分布式时钟带来的精准同步可以使得整个系统都运行在统一的时钟下，每个设备的同步性远小于1微秒。在接下来的几篇文章中，我将从分布式时钟的原理定义，实现手段以及具体应用这几方面去阐述分布式时钟对于设备的意义。 什么是分布式时钟？ 分布式时钟是EtherCAT网络中的内置时钟。...
stm32时钟树以及修改系统时钟频率
zouxu634866的博客
11-14 9321
前言：在学51的时候我们知道单片机想要工作必须要有时钟，在stm32中，外部时钟源不是必须的，因为内部就有时钟源，因此我们需要了解stm32的时钟树以方便以后我们设置自己所需要的时钟频率时钟树解读1.首先我们找到最重要的系统时钟：他的最高频率为168MHZ，他可以由三个提供，一个是HSI（内部高速时钟源，h=high，i=internal），可以在主图中找到这个HSI RC，还有一个是HSE（外部高
jsoup使用xpath
07-27
使用Jsoup进行XPath查询需要先引入JsoupXpath依赖。在pom.xml文件中添加以下依赖项： ```xml <!-- jsoup HTML parser library @ https://jsoup.org/ --> <groupId>org.jsoup <artifactId>jsoup <version>...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值