Jsoup解析网页(二)爬虫解析一个完整的网页

以我做的一个项目中的需求为例子,
需求:爬虫一个网页,将这个网页的内容解析,解析完将这个网页下载到我们自己的服务器保存。然后通过ftp上传到另一个服务器作为外部资源给别人访问。

我们就爬一个百度新闻作为测试:http://qijunjie.baijia.baidu.com/article/825950

简单的代码:

import java.io.BufferedWriter;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.io.UnsupportedEncodingException;
import java.util.Random;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

/**
 * 
 * @author kxl
 * 
 */

public class CrawlNews {
   
    public static void main(String[] args) {
         String url="http://qijunjie.baijia.baidu.com/article/825950";
         doCrawlNews(url);
    }

    public static boolean doCrawlNews(String url) {
            boolean downloadSuccess=false;
            Document doc = null;
            
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值