使用jsoup采集网页实例

最新推荐文章于 2023-07-09 21:26:23 发布
最新推荐文章于 2023-07-09 21:26:23 发布
阅读量713 收藏
点赞数
分类专栏： Jsoup采集
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fenqingxingpeiyue/article/details/51533096
版权

使用jsoup采集网页实例

以凤凰网为例，采集小说

参考书籍：
jsoup帮助文档 http://www.open-open.com/jsoup/
jsoup博客： http://www.jb51.net/article/43485.htm 
package cn.com.metadata;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URL;
import java.net.URLConnection;
import java.util.HashMap;
import java.util.Map;

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import cn.com.metadata.util.WriteToDateBase;
public class BookCollect {
private  Map<String, String> cookies = new HashMap<String, String>();
private String imagePath="D:\\image\\";
private Connection conn;
public static void main(String[] args) {
    BookCollect  bc=new BookCollect();
    //出版书库shuku.htm?yc=1&fee=1&o_type=3&f_cate=1
    StringBuffer sb1=new StringBuffer();
    sb1.append("/shuku.htm?");
    sb1.append("yc=1");
    sb1.append("&fee=1");
    sb1.append("&o_type=3");
    sb1.append("&f_cate=1");
    //原创书库shuku.htm?yc=0&f_cate=374&s_cate=716&o_type=2&fee=1&tag=
    StringBuffer sb2=new StringBuffer();
    sb2.append("/shuku.htm?");
    sb2.append("yc=0");
    sb2.append("&f_cate=374");
    sb2.append("&s_cate=716");
    sb2.append("&o_type=2");
    sb2.append("&fee=1");
    sb2.append("&tag=");
    //出版书库和原创书库详情页不一样

    for(int i=1;i<=2;i++){
        if(i==1){
            bc.collectionPage(sb1,i);//1:出版书库   2:原创书库
        }else{
            bc.collectionPage(sb2,i);//1:出版书库   2:原创书库
        }
    }


}
//分页处理采集信息
public void collectionPage(StringBuffer sb,int type){
    String baseUrl="http://v.yc.ifeng.com";
    //出版数据库
    String pageUrl=baseUrl+sb.toString();
    Document document=null;
    try {
        int pageTotal=1;
        int total=0;
        document=Jsoup.connect(pageUrl).cookies(cookies).timeout(60 * 1000).ignoreContentType(true).maxBodySize(10 * 1024 * 1024).get();
        String pageText=document.select("strong[class=f16 blue]").text();
        total=Integer.valueOf(pageText);
        if(total%20==0){
            pageTotal=total;
        }else{
            pageTotal=total/20+1;
        }
        for(int page=1;page<=pageTotal;page++){
            String str=sb.toString()+"&p="+page;
            collectIFeng(str,type);
        }
    } catch (IOException e) {
        e.printStackTrace();
    }
}
public  String jsoupHTML(String c,String b){
    String subStr="";
    try {
        String baseURL = "http://v.yc.ifeng.com/remc.htm?";
        StringBuffer paramsSB = new StringBuffer();
        paramsSB.append("c=");
        paramsSB.append(c);
        paramsSB.append("&b=");
        paramsSB.append(b);
        String queryURL = baseURL+paramsSB.toString();
        //获取json数据
        String InboxJson = Jsoup.connect(queryURL).cookies(cookies).timeout(60 * 1000).ignoreContentType(true).maxBodySize(10 * 1024 * 1024).post().body().html();
        InboxJson=InboxJson.replaceAll("\\\\", "");
        System.out.println("采集的文章序号："+"/"+c+"/"+b);
        subStr=InboxJson.substring(12,InboxJson.lastIndexOf("<br>"));
        return subStr;
    } catch (Exception e) {
        e.printStackTrace();
    }
     return subStr;
}
public void collectIFeng(String params,int type){
    String urlIFeng="http://v.yc.ifeng.com";//进入凤凰网址url
    String typeUrl=urlIFeng+params;//全路径
    Document document=null;
    String fileName="";
     try {
         document=Jsoup.connect(typeUrl).cookies(cookies).timeout(60 * 1000).ignoreContentType(true).maxBodySize(10 * 1024 * 1024).get();
         Elements elements=document.select("ul[class=bimg]>li");
         for(int i=0;i<elements.size();i++){
             Element element=elements.get(i);
             //获取详情url
             String urlDetail=element.select("a").eq(0).attr("href");
             //获取图片地址
             String imgUrl=element.select("a>img").eq(0).attr("src");
             fileName=this.saveImage(imgUrl,imagePath);
             //通过详情页拿到每一个章节信息
             String detailUrl=urlIFeng+urlDetail;
             if(type==2){
                 this.connDetail(detailUrl,fileName,type);
             }else{
                 this.connDetail(detailUrl,fileName);
             }
         }
    } catch (IOException e) {
        e.printStackTrace();
    }
}
//解析原创书库详情页
private void connDetail(String detailUrl, String imageName,int type) {
    String channelId="";//栏目id
    String title="";//题名
    String author="";//作者
    String press="";//出版社
    String classification="";//分类
    String keyWords="";//关键词
    String ab="";//简介
    Document document=null;
    try {
        channelId=detailUrl.substring(detailUrl.lastIndexOf("/")+1, detailUrl.lastIndexOf("."));
        document=Jsoup.connect(detailUrl).cookies(cookies).timeout(60 * 1000).ignoreContentType(true).maxBodySize(10 * 1024 * 1024).get();
        Elements elements=document.select(".Bdescript2").eq(0);
        document.select(".Bdescript2").eq(0).select("h2").eq(0).text();
        title=elements.select("h2").eq(0).text();
        Elements tab=elements.select("table>tbody>tr>td");
        author=tab.eq(0).select("a").text();
        press=tab.eq(2).select("a").text();
        //classification=tab.eq(4).select("a").text();
        keyWords=tab.eq(7).select("a").text();
        ab=document.select(".paddbot").text();
        //读取一条存入数据库一条
        Elements eleChapter=document.select("#chapters_div");
        //存入数据库操作
        WriteToDateBase.insertChannel(channelId,title,author,press,classification,keyWords,ab,imageName);
        //有章节是
        if(!eleChapter.select("dd").isEmpty()){
            //存入一个数据库
            this.chapterDetail(eleChapter,channelId);
        }
    } catch (IOException e) {
        e.printStackTrace();
    }
}
//解析详情页
private void connDetail(String detailUrl,String imageName) {
    String channelId="";//栏目id
    String title="";//题名
    String author="";//作者
    String press="";//出版社
    String classification="";//分类
    String keyWords="";//关键词
    String ab="";//简介
    Document document=null;
    try {
        channelId=detailUrl.substring(detailUrl.lastIndexOf("/")+1, detailUrl.lastIndexOf("."));
        document=Jsoup.connect(detailUrl).cookies(cookies).timeout(60 * 1000).ignoreContentType(true).maxBodySize(10 * 1024 * 1024).get();
        Elements elements=document.select(".Bdescript").eq(0);
        document.select(".Bdescript").eq(0).select("h2").eq(0).text();
        title=elements.select("h2").eq(0).text();
        Elements tab=elements.select("table>tbody>tr>td");
        author=tab.eq(0).select("a").text();
        press=tab.eq(1).select("a").text();
        classification=tab.eq(4).select("a").text();
        keyWords=tab.eq(8).select("a").text();
        ab=elements.select("p").last().text();
        //读取一条存入数据库一条
        Elements eleChapter=document.select("#chapters_div");
        //存入数据库操作
        WriteToDateBase.insertChannel(channelId,title,author,press,classification,keyWords,ab,imageName);
        //有章节是
        if(!eleChapter.select("dd").isEmpty()){
            //存入一个数据库
            this.chapterDetail(eleChapter,channelId);
        }
    } catch (IOException e) {
        e.printStackTrace();
    }

}
/**
 * 读取没一章节的详细内容
 * @param eleChapter
 * @param channelId
 */
private void chapterDetail(Elements eleChapter, String channelId) {
    String urlIFeng="http://v.yc.ifeng.com";//进入凤凰网址url
    String typeAB="";//分类型章节
    String chapter="";//章节
    String chapterId="";//章节id
    String chapterContent="";//章节内容
    Elements elements=eleChapter.select("dd");
    for(int i=0;i<elements.size();i++){
        Element element=elements.get(i);
        typeAB=element.select("h5").text();
        Elements elemeA=element.select("a");
        for(int j=0;j<elemeA.size();j++){
            //获取href的最后一个数字
            String href=elemeA.get(j).attr("href");
            chapter=elemeA.get(j).text();
            String c=href.substring(href.lastIndexOf("/")+1,href.lastIndexOf("."));
            chapterId=c;
            String b=channelId;
            chapterContent=this.jsoupHTML(c,b);
            //存入数据库
            WriteToDateBase.insertContent(channelId,chapterId,typeAB,chapter,chapterContent);
        }

    }

}
//存入文件获取文件名称，存图片
public String saveImage(String imgUrl,String imagePath) throws IOException{
    // 构造URL  
    URL url = new URL(imgUrl);
    String filename=imgUrl.substring(imgUrl.lastIndexOf("/")+1,imgUrl.length());
    // 打开连接  
    URLConnection con=null;
    InputStream is=null;
    try {
         con = url.openConnection();  
        //设置请求超时为5s  
        con.setConnectTimeout(5*1000);  
        // 输入流  
        is = con.getInputStream(); 
    } catch (Exception e) {
        //图片不存在时，调用默认图片
        con =new URL("http://res.read.ifeng.com/images/book/book.jpg").openConnection();
        con.setConnectTimeout(5*1000);  
        is = con.getInputStream();  
    }
    // 1K的数据缓冲  
    byte[] bs = new byte[1024];  
    // 读取到的数据长度  
    int len;  
    // 输出的文件流  
   File sf=new File(imagePath);  
   if(!sf.exists()){  
       sf.mkdirs();  
   }  
   OutputStream os = new FileOutputStream(sf.getPath()+"\\"+filename);
    // 开始读取  
    while ((len = is.read(bs)) != -1) {  
      os.write(bs, 0, len);  
    }  
    // 完毕，关闭所有链接  
    os.close();  
    is.close();
    return filename;
}   
}

Elements这个对象提供了一系列类似于DOM的方法来查找元素，抽取并处理其中的数据。具体如下：
查找元素
getElementById(String id)
getElementsByTag(String tag)
getElementsByClass(String className)
getElementsByAttribute(String key) (and related methods)
Element siblings: siblingElements(), firstElementSibling(), lastElementSibling();nextElementSibling(), previousElementSibling()
Graph: parent(), children(), child(int index)
元素数据
attr(String key)获取属性attr(String key, String value)设置属性
attributes()获取所有属性
id(), className() and classNames()
text()获取文本内容text(String value) 设置文本内容
html()获取元素内HTMLhtml(String value)设置元素内的HTML内容
outerHtml()获取元素外HTML内容
data()获取数据内容（例如：script和style标签)
tag() and tagName()
操作HTML和文本
append(String html), prepend(String html)
appendText(String text), prependText(String text)
appendElement(String tagName), prependElement(String tagName)
html(String value)

Selector选择器概述
tagname: 通过标签查找元素，比如：a
ns|tag: 通过标签在命名空间查找元素，比如：可以用 fb|name 语法来查找 元素

id: 通过ID查找元素

.class: 通过class名称查找元素，比如：.masthead

邢小月
关注
专栏目录
使用 jsoup实现网页抓取
qq_32691569的博客
04-23 392
简介： jsoup 是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API，可通过 DOM，CSS 以及类似于 jQuery 的操作方法来取出和操作数据。本文主要介绍如何使用 jsoup 来进行常用的 HTML 解析。 准备工作： 下载jsoup.jar包:https://jsoup.org/download代码： Do...
jsoup使用
heima201907的博客
02-14 321
jsoup教程 jsoup是一款Java的HTML解析器，主要用来对HTML解析。 在爬虫的时候，当我们用HttpClient之类的框架，获取到网页源码之后，需要从网页源码中取出我们想要的内容， 就可以使用jsoup这类HTML解析器了。可以非常轻松的实现。 虽然jsoup也支持从某个地址直接去爬取网页源码，但是只支持HTTP，HTTP...
Jsoup 爬取网页内容样例
qq_35332494的博客
12-30 164
Jsoup 爬虫爬取网页内容 springboot导入maven依赖 <!--解析网页jsoup--> <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.10.2</version> </dependency> 选择需要爬取的网页 [外链图片转存失败,源站可能有防盗链机制
httpclient+Jsoup爬取网页数据
charberming的博客
01-20 763
情景说明：网页的数据格式比较简单，只是把小说内容爬取到本地保存，没有遇到反爬。 使用到的依赖如下： &lt;!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient --&gt; &lt;dependency&gt; &lt;groupId&gt;org.apache.httpcompone...
Jsoup爬取网易新闻
jeanFlower的博客
07-05 1716
话不多说，先看代码！/** * Created by david on 2017-7-5. * 爬取网易新闻页面 */import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements;import java.io.IO
使用jsoup抓取和解析网页数据
最新发布
小易
07-09 3380
jsoup是一个强大的Java库，可以用于解析HTML文档。它提供了许多常用的API，用于选择、遍历和修改HTML文档中的元素和属性。选择器（Selector）API：用于根据CSS选择器语法选择HTML元素。属性（Attribute）API：用于获取、设置和移除HTML元素的属性。遍历（Traversal）API：用于遍历HTML文档中的元素。操作（Manipulation）API：用于修改HTML文档中的元素和属性。接下来，我们将逐一介绍这些API，并给出相应的代码示例。
jsoup解析网页
11-29
在这个资源中，我们看到一个实例，是关于如何使用jsoup从搜狐新闻网站上提取所需数据的。以下是对这个主题的详细讲解： 1. **jsoup简介** jsoup是一个基于DOM（文档对象模型）的库，它允许开发者以与jQuery类似的...
ASP实例开发网站源码——带采集的创业金点子网站程序源码.rar
10-17
在本实例中，“ASP实例开发网站源码——带采集的创业金点子网站程序源码.rar”是一个包含完整的网站开发代码的压缩包，主要用于学习ASP编程以及了解如何构建一个具有数据采集功能的创业点子分享平台。 首先，我们...
使用Jsoup实现简单的页面信息爬取
ychcqshan的专栏
12-18 2727
使用Jsoup实现简单的页面信息爬取首先，简单说一下个人对爬虫的理解（比较简单，以后再完善）：爬虫，简单点就是从网站上来爬取你所需要的信息。从这个功能考虑的话，也就简单的分为了一下几步（本篇主要就此展开讨论）：1、你需要的网址；2、你所需要的信息；3、获取信息并存储或进行相关处理。其次，简单说几个工具，最开始了解到一个httpclient的神奇东东可以实现功能强大的爬虫功能（个人理解：用java程
123资源最新采集接口.txt
05-03
123资源最新采集接口.txt
使用JSoup实现新闻网页正文抽取
10-20
本程序用用解析工具JSoup，编程实现了新闻网页正文信息抽取，适用于新浪163qq等新闻网页信息抽取。开发工具为Eclipse，将工程导入到Eclipse后，直接运行NewsDown.java类。
jsoup获取响应内容不完整
樊金良的博客
04-23 2172
完美解决jsoup获取响应内容不完整 Jsoup抓取网页只能抓取一部分不能完整获取响应内容时，一般有以下几个原因。 网络异常，这个很少发生，jsoup会报告exception 网络超时，可以设置 connection.timeout(n) 增加超时时间。 看起来都正常，没有异常发生。 但是获取的数据就是少了一截。 如果获取到的数据不超过1024k，程序正常，得到的数据也正常。 一旦数据超过1024k时，数据就只有预期得到数据的前1024k字节了。 仔细查找jsoup的api 发现，默认设置下，jsoup最
新闻消息的爬取-jsoup
02-06 1233
新闻消息的爬取-jsoup       业务场景：新闻消息爬取，半自动半人工。       新闻来源几个固定网站，人工则是工作人员在网上看到一个需要的消息，直接拷贝网址，然后根据网址自动提取。       消息内容：标题，简介，网址，封面图片     采用开发插件 jsoup，感觉是最方便的简析工具，比htmlparser等好用得多。   一．Jsoup开发参考资料 1.  
网络采集器Demo：Jsoup+Java多线程实现[爬虫]（上）
superhy寻找无双
11-01 4999
ailab-mltk：http://blog.csdn.net/qdhy199148/article/details/49403585 里面最简单，但是很常用的一个部分，就是网络爬虫，从网页上获取文本信息 这里用到两个工具，一个就是Java多线程（基于Java5 以上的线程池模式，区别于过时的Runable），另外一个是一个小工具：Jsoup，用于解析html网页，获取其中的内容，关于Jsou
Java数据采集--2.使用Jsoup抓取开源中国
geekfly的Blog
03-16 5265
本节使用Jsoup获取网页源码，并且解析数据。 使用JSoup 解析网页，语法使用 JS，css，Jquery 选择器语法，方便易懂 抓取网站：http://www.oschina.net/news/list 开源中国-新闻资讯模块 基本工作： 1.创建好Java工程，包等基本工作。 2.导入Jsoup所依赖的jar包。官网下载地址如下： http://jsoup.org/package
Java数据采集-Jsoup抓取开源中国
蓝星花
01-04 1541
使用JSoup 解析网页，语法使用 JS，css，Jquery 选择器语法，方便易懂  1.导入Jsoup所依赖的jar包。官网下载地址如下：  http://jsoup.org/packages/jsoup-1.8.1.jar  2.在main函数中使用Jsoup获取网页源码  String url = "http://www.oschina.net/news/list";
简单的图片采集器（网络爬虫原理）
会笑的小猪的博客
07-27 6858
1.学习目的：熟悉java类集以及IO流操作，为图片识别做采集铺垫 2.对象网站：http://www.ivsky.com 3.制作思路： 1. 输入一个网址，获取该网址的html内容. 2. 分析html内容，提取到所有网址和图片地址 3. 如果是遍历网址就循环对每个网址重复做步骤一
怎么解决jsoup不能完整获取响应内容的问题
xiaozaq的博客
06-28 5113
当使用jsoup访问http的接口时，但如果遇到不能完整获取响应内容时，一般有以下几个原因。1. 网络异常，造成读取不全。这个很少发生，因为jsoup会报告exception2. 网络超时，此时可以设置 connection.timeout(n) 增加超时时间。3. 一切看起来都正常，也没有异常发生。 但是获取的数据就是少了一截。这里主要将第三点。仔细分析获取到的数据，发现得到数据都是1024k。...
使用jsoup解析网页HTML并提取链接
"该资源主要展示了如何使用Java库jsoup来解析网页内容，特别是提取页面上的链接。通过示例代码，我们可以学习到jsoup的基本用法，包括连接网站获取HTML文档，以及使用CSS选择器来筛选和提取所需元素。" 在Java开发...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值