java Jsoup实现新闻网页的爬取,标题,正文,图片,新闻时间,网页链接的解析示例

一下代码为一个Jsoup爬取新闻网页的简单示例,可直接运行。

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.HashSet;
import java.util.LinkedList;
import java.util.Set;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class newCrawl {
  public LinkedList ImgUrls=new LinkedList();//用于存放图片URL
  public LinkedList linkurls=new LinkedList();//用于存放url链接

  public static void main(String[] args) throws IOException {  
    newCrawl newCl = new newCrawl();   
    String url="http://world.huanqiu.com/article/2016-01/8412590.html?from=bdwz";
            Document doc = Jsoup.connect(url).get();
            newCl.downloadPage(url);//下载网页 
            String title=newCl.getnewTitle(doc);//获取新闻标题
            String time=newCl.getTime(doc);//获取新闻发布时间
            String text=newCl.getNewtext(doc);//获取新闻内容
    System.out.println("新闻Url:"+url);
    System.out.println("新闻标题:"+title);
    //System.out.println("newsTime:"+time);
    System.out.println("新闻内容:"+text);
    System.out.println("******************************************************************");
    newCl.getImgurl(doc);//获取图片链接
    newCl.getlinkurl(doc);//获取网页链接
    System.out.println("图片url链接");
    for (Object IU : newCl.ImgUrls) {
         System.out.println(IU);
       } 
   

  • 3
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值