Jsoup获取csdn文章链接和标题的方法

最新推荐文章于 2021-11-16 13:10:25 发布
最新推荐文章于 2021-11-16 13:10:25 发布
阅读量1.5k 收藏
点赞数 2
分类专栏： （0）目录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fei20121106/article/details/44302453
版权

附件：jsoup-1.8.1.jar



import org.jsoup.Jsoup;
import org.jsoup.helper.Validate;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;

/**
 * Example program to list links from a URL.
 */
public class ListLinksFromURL {
    public static void main(String[] args) throws IOException {
        //Validate.isTrue(args.length == 1, "usage: supply url to fetch");

   String url="http://blog.csdn.net/fei20121106/article/category/2924169";
        print("Fetching %s...", url);

        reslove(url);
    }

    public static void reslove(String url) throws IOException {

        Document doc = Jsoup.connect(url).userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31").get();

        Element results=doc.getElementById("article_list");

        Elements links = results.select("a[href]");
        Elements media = results.select("[src]");
        Elements imports = results.select("link[href]");

        print("\nLinks: (%d)", links.size());
/*        for (Element link : links) {
            if(!link.text().equals("阅读")&&!link.text().equals("评论"))
            print("-[%s](%s)",trim(link.text(), 35),link.attr("abs:href"));
        }*/
      for (int i=links.size()-1;i>-1;--i) {
            Element link=links.get(i);
            if(!link.text().equals("阅读")&&!link.text().equals("评论")){
            print("- [%s](%s)",link.text(),link.attr("abs:href"));
           // reslovepage(link.attr("abs:href"));
            }

        }
/*        print("\nText: (%d)", media.size());
        print(" * %s", results.toString());

        print("\nMedia: (%d)", media.size());
        for (Element src : media) {
            if (src.tagName().equals("img"))
                print(" * %s: <%s> %sx%s (%s)",
                        src.tagName(), src.attr("abs:src"), src.attr("width"), src.attr("height"),
                        trim(src.attr("alt"), 20));
            else
                print(" * %s: <%s>", src.tagName(), src.attr("abs:src"));
        }*/


    }


    public static void reslovepage(String url) throws IOException {

        Document doc = Jsoup.connect(url).userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31").get();

        Element results=doc.getElementById("article_content");

        Elements links = results.select("a[href]");
        Elements media = results.select("[src]");
        Elements imports = results.select("link[href]");

        print("\nLinks: (%d)", links.size());
        for (Element link : links) {
            if(!link.text().equals("copy")&&!link.text().equals("view plain"))
            print(" - [%s](%s)",trim(link.text(), 35),link.attr("abs:href"));
        }
/*      for (int i=links.size()-1;i>-1;--i) {
            Element link=links.get(i);
            if(!link.text().equals("copy")&&!link.text().equals("view plain")){
            print("- [%s](%s)",link.text(),link.attr("abs:href"));
            }

        }*/
/*        print("\nText: (%d)", media.size());
        print(" * %s", results.toString());

        print("\nMedia: (%d)", media.size());
        for (Element src : media) {
            if (src.tagName().equals("img"))
                print(" * %s: <%s> %sx%s (%s)",
                        src.tagName(), src.attr("abs:src"), src.attr("width"), src.attr("height"),
                        trim(src.attr("alt"), 20));
            else
                print(" * %s: <%s>", src.tagName(), src.attr("abs:src"));
        }*/


    }
    private static void print(String msg, Object... args) {
        System.out.println(String.format(msg, args));
    }

    private static String trim(String s, int width) {
        if (s.length() > width)
            return s.substring(0, width-1) + ".";
        else
            return s;
    }
}
package demo.com.csdnjsoup;

import android.text.TextUtils;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Comparator;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

/**
 * Example program to list links from a URL.
 */
public class ListLinksFromURL {

    public static List<String> sumSource = new ArrayList<>();

    public static void getAll() throws IOException {
        for (int i = 1; i < 44; i++) {
            main("" + i);
        }

        Collections.sort(sumSource, new Comparator<String>() {
            @Override
            public int compare(String s, String t1) {

                //print("%s...%s", s, t1);
                s = s.substring(0, 18);
                t1 = t1.substring(0, 18);

                if(TextUtils.isEmpty(s)){
                    return -1;
                }else if(TextUtils.isEmpty(t1)){
                    return 1;
                }else {

                    String s1 = getIndex(s);
                    String s2 = getIndex(t1);

                    if (TextUtils.isEmpty(s1) || TextUtils.isEmpty(s2)) {
                        return s.compareTo(t1);
                    }else {

                        String[] sa1 = s1.split("\\.");
                        String[] sa2 = s2.split("\\.");

                        if (sa1.length > sa2.length) {
                            for (int i = 0; i < sa2.length; i++) {
                                if (Integer.valueOf(sa1[i]) > Integer.valueOf(sa2[i])) {
                                    return 1;
                                } else if (Integer.valueOf(sa1[i]) < Integer.valueOf(sa2[i])) {
                                    return -1;
                                }
                            }
                            return 1;
                        } else if (sa1.length < sa2.length) {
                            for (int i = 0; i < sa1.length; i++) {
                                if (Integer.valueOf(sa1[i]) > Integer.valueOf(sa2[i])) {
                                    return 1;
                                } else if (Integer.valueOf(sa1[i]) < Integer.valueOf(sa2[i])) {
                                    return -1;
                                }
                            }
                            return -1;
                        } else {
                            for (int i = 0; i < sa1.length; i++) {
                                if (Integer.valueOf(sa1[i]) > Integer.valueOf(sa2[i])) {
                                    return 1;
                                } else if (Integer.valueOf(sa1[i]) < Integer.valueOf(sa2[i])) {
                                    return -1;
                                }
                            }
                            return 0;
                        }
                    }
                }
            }
        });

        print("共有文章 %s...", sumSource.size() + "");
        String resultStr = "";
        for (String item: sumSource) {
            resultStr = resultStr + "\n" + item;
        }
        print("%s...", resultStr);
    }

    public static String getIndex(String s){
        Pattern p = Pattern.compile("\\[（[\\S\\s]*）");
        Matcher m = p.matcher(s);
        if (m.find()) {
            return s.substring(m.start() + 2, m.end() - 1);
        }

        return "";

    }

    public static boolean isNumeric(String str){
        for (int i = 0; i < str.length(); i++){
            System.out.println(str.charAt(i));
            if (!Character.isDigit(str.charAt(i))){
                return false;
            }
        }
        return true;
    }

    public static void main(String i) throws IOException {
        //Validate.isTrue(args.length == 1, "usage: supply url to fetch");

        String url="http://blog.csdn.net/fei20121106/article/list/" + i;
        print("Fetching %s...", url);

        reslove(url);
    }

    public static void reslove(String url) throws IOException {

        Document doc = Jsoup.connect(url).userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31").get();

        Element results=doc.getElementById("article_list");

        Elements links = results.select("a[href]");
        Elements media = results.select("[src]");
        Elements imports = results.select("link[href]");

        print("\nLinks: (%d)", links.size());
/*        for (Element link : links) {
            if(!link.text().equals("阅读")&&!link.text().equals("评论"))
            print("-[%s](%s)",trim(link.text(), 35),link.attr("abs:href"));
        }*/
        int sum = 0;
        for (int i=links.size()-1;i>-1;--i) {
            Element link=links.get(i);
            if(!link.text().equals("阅读")&&!link.text().equals("评论")){
                print("- [%s](%s)",link.text(),link.attr("abs:href"));
                // reslovepage(link.attr("abs:href"));
                sum ++;
                sumSource.add("- [" + link.text() + "]( "+ link.attr("abs:href") + ")");
            }

        }

        print("共%s",sum +"");
/*        print("\nText: (%d)", media.size());
        print(" * %s", results.toString());

        print("\nMedia: (%d)", media.size());
        for (Element src : media) {
            if (src.tagName().equals("img"))
                print(" * %s: <%s> %sx%s (%s)",
                        src.tagName(), src.attr("abs:src"), src.attr("width"), src.attr("height"),
                        trim(src.attr("alt"), 20));
            else
                print(" * %s: <%s>", src.tagName(), src.attr("abs:src"));
        }*/


    }


    public static void reslovepage(String url) throws IOException {

        Document doc = Jsoup.connect(url).userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31").get();

        Element results=doc.getElementById("article_content");

        Elements links = results.select("a[href]");
        Elements media = results.select("[src]");
        Elements imports = results.select("link[href]");

        print("\nLinks: (%d)", links.size());
        for (Element link : links) {
            if(!link.text().equals("copy")&&!link.text().equals("view plain"))
                print(" - [%s](%s)",trim(link.text(), 35),link.attr("abs:href"));
        }
/*      for (int i=links.size()-1;i>-1;--i) {
            Element link=links.get(i);
            if(!link.text().equals("copy")&&!link.text().equals("view plain")){
            print("- [%s](%s)",link.text(),link.attr("abs:href"));
            }

        }*/
/*        print("\nText: (%d)", media.size());
        print(" * %s", results.toString());

        print("\nMedia: (%d)", media.size());
        for (Element src : media) {
            if (src.tagName().equals("img"))
                print(" * %s: <%s> %sx%s (%s)",
                        src.tagName(), src.attr("abs:src"), src.attr("width"), src.attr("height"),
                        trim(src.attr("alt"), 20));
            else
                print(" * %s: <%s>", src.tagName(), src.attr("abs:src"));
        }*/


    }
    private static void print(String msg, Object... args) {
        System.out.println(String.format(msg, args));
    }

    private static String trim(String s, int width) {
        if (s.length() > width)
            return s.substring(0, width-1) + ".";
        else
            return s;
    }
}
fei20121106
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Jsoup获取网页标题
程序员资料站
08-03 3819
目录 jsoup简介 jsoup相关网站 jsoup解析百度首页 jsoup简介 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 jsoup简介 Jsoup解析百度首页 https://www.baidu.com/，通过返回网页内容，获取网页...
CSDN优秀博客连接，博客之星连接。
热门推荐
wanglong的专栏
03-02 1万+
2013年度CSDN十大博客之星 TOP 作者 专注领域 博客地址 1 邹晓艺 机器学习及算法 zouxy09 2 王然 潜在的集大成者 dog250 3 刘伟
文章链接
会跳的蚂蚁
09-11 660
有一些问题，记不住还要找，把链接即在这里吧。 python装饰器学习博客  http://www.cnblogs.com/rhcad/archive/2011/12/21/2295507.html sqlalchemy mysql使用学习博客  http://blog.csdn.net/u011573853/article/details/51363780 尽量阅读英文文档  h
CSDN博客文章内容使用超链接
qq_43152213的博客
11-16 854
之前一直不知道如何在csdn博客发布文章如何添加超链接，刚才研究了一下终于明白了，如下图所示，通过工具栏超链接按钮就可以添加超链接了。 现在来测试一下 维科瑞家具板材
一些文章的链接地址
csdn_stf_01的博客
08-03 306
Spring Boot系列(四)：thymeleaf使用详解 ORACLE基本数据类型总结 Spring Test+JUnit完美组合 Mybatis Generator最完整配置详解 面试题总结——JAVA高级工程师 《深入理解Java集合框架》系列文章 Shiro系统权限管理、及原理剖析 Shiro 学习总结、博客目录贴 SSM + Shiro 整合---系列详解 N
Java爬虫技术分享：CSDN文章批量抓取方法.zip
04-29
2. **获取文章列表**：通过分析CSDN的文章列表页面，确定URL模式和页面结构，然后利用Jsoup解析HTML，提取文章标题、作者、链接等信息。 3. **抓取文章内容**：根据每篇文章的链接，发送新的GET请求获取文章详情页，...
一步步教你用Java爬虫爬取CSDN文章.zip
最新发布
04-29
从每个文章元素中提取必要的信息，如标题、作者、发表日期和链接。这些信息通常存在于特定的HTML标签内，例如`<h2>`、`<span>`或`<a>`。 **步骤5：遍历多页** CSDN的文章可能分布在多个页面上，所以你需要检查是否...
HappyReader:这是一款通过jsoup解析Html获取内容的网络阅读器，大学时期闲暇完成，对照CSDN的Web页面元素设计进行解析提取内容，核心功能就是使用jsoup解析
06-18
1. HTML解析：HappyReader的核心是利用Jsoup解析HTML文档，通过识别特定的标签和属性，定位到文章的关键部分，例如文章标题通常位于`<h1>`或`<h2>`标签内，正文则可能包含在`<p>`标签中，图片链接则隐藏在`<img>`...
csdn2md:利用爬虫爬取指定用户的CSDN博客文章转为md格式，目的是完成博客迁移
05-02
爬虫通过发送HTTP请求到CSDN服务器，获取HTML响应，然后使用HTML解析库（如Jsoup）来提取所需的数据，如文章标题、内容、发表日期等。爬虫设计时需注意遵循CSDN的robots.txt协议，以确保合法和道德的网络抓取。 ...
android Jsoup获取网站内容（实例为新闻标题获取），android网络必学
10-04
近期做简单的新闻客户端界面使用到了Jsoup获取，使用起来特别方便，这也是被我一个学长称为学android网络必学的一个东西，在此也是分享一下自己近期所学。
用jsoup自动抓取每个专题及其专题下网页报道（包括每个新闻的标题、正文、URL）并存入数据库（SQL Server）
05-08
使用JAVA语言进行数据抓取，对于每个专题，根据该专题的网页列表爬取每条报道的URL、标题和正文，并存入数据库。 这里需要建几张表，如专题表，网页报道表。以此，将每个专题及其新闻都抓取下来。
cdsn文章下载，转化为md格式
04-09
在这个项目中，Jsoup被用来解析CDSN文章的目录结构，获取文章的标题、链接、作者等信息。 2. **HTML抓取**: 网页抓取是获取网页内容的过程，Jsoup通过建立与目标网站的连接，解析HTML文档，找到所需的数据。在这个...
织梦导航，获取文章链接
HDdgut的博客
03-31 199
常规一级导航 {dede:channel type='top' row='8' currentstyle="<li>< a href='~typelink~' class='thisclass'>~typename~</ a> </li>"} <li>< a href='[field:typelink/]'>[field:...
一些优秀的文章链接地址
梦想小屋
01-14 533
附地址：   Java程序编译和运行的过程 http://www.360doc.com/content/14/0218/23/9440338_353675002.shtml   Java类型检查 http://wenku.baidu.com/link?url=ahF5hOOVxSBwoqtTPSeMLmemFaV3MXuFZgeHOGUT5YeaeaLktKJUIaDLru3d6kN2
jsoup 获取CSDN博客的所有标题与链接
皮皮亮的博客
11-28 720
org.jsoup 抓取网页信息转成Map 主要只是介绍，单个jar包的功能，以及使用的方法。并不会深挖，简单使用笔记，一边日后使用能够快速入手。 jar获取主要从mvn工厂中获取。[https://mvnrepository.com/]( 点击跳转官方文档 <!--将html转换为Map--> <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactI
java爬虫(Jsoup)爬取某新闻站点标题
Programming is an art form.
06-08 8404
需要一个包：jsoup-1.7.3.jar 有一定的java和js基础的人，一看就懂了！ 一个不错的Jsoup中文文档下载地址：http://download.csdn.net/detail/apache2011/4517327import java.io.IOException;import org.jsoup.Jsoup; import org.jsoup.nodes.Document; i
java Jsoup实现新闻网页的爬取，标题，正文，图片，新闻时间，网页链接的解析示例
yxmao的博客
01-20 1万+
一下代码为一个Jsoup爬取新闻网页的简单示例，可直接运行。 import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.net.MalformedURLException; import jav
以获取网上某篇文章的标题为例，介绍Jsoup常用的四种选择器
BUAACST
07-06 440
jsoup常用的四种选择器第一种选择方式：通过节点名称以及class来属性来进行选择第二种选择方式：通过节点id来进行选择第三种方式：通过文档节点顺序来进行选择第四种方式：通过谷歌浏览器来进行帮助选择 public void getNewsTitle() throws Exception { // 通过调用parse方法，传递url就可以解析网页内容 // 请求网站，获取网页内容，封装成D...
Java jsoup select 获取多个链接怎么写
06-06
如果你需要获取多个链接，只需要在选择器中添加多个条件即可。下面是一个示例，假设我们要获取一个页面中所有带有`href`属性且以`.html`或`.htm`结尾的链接： ```java import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import java.io.IOException; public class Main { public static void main(String[] args) { String url = "http://example.com"; // 指定页面的URL try { Document doc = Jsoup.connect(url).get(); // 获取页面内容 Elements links = doc.select("a[href$=.html], a[href$=.htm]"); // 选择所有带有href属性且以.html或.htm结尾的a标签 for (Element link : links) { String linkHref = link.attr("href"); // 获取链接的URL System.out.println(linkHref); } } catch (IOException e) { e.printStackTrace(); } } } ``` 这段代码会打印出指定页面中所有以`.html`或`.htm`结尾的链接的URL。你可以根据需要修改选择器条件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值