Java中使用jsoup爬取网页数据简单示例

Java中使用jsoup爬取网页数据简单示例

package com.jsoup;

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class FirstJsoup {
	
	private static Document doc;

	public static void main(String[] args) {
		try {
			//获取网站链接
			doc = Jsoup.connect("https://www.cnblogs.com/").get();
		} catch (IOException e) {
			e.printStackTrace();
		}
		// 调用Blogs类
		Blogs();
	}

	public static void Blogs() {
		//选择网页中的元素
		Elements tests = doc.select("div#post_list>div.post_item");
		//使用for循环遍历网页中的数据
		for (Element test : tests) {
			//爬取页面中的文章标题
			String txt = test.select("div.post_item_body>h3>a.titlelnk").text();
			System.out.println("标题：" + txt);
			//爬取页面中的文章链接
			String href = test.select("div.post_item_body>h3>a.titlelnk").attr("href");
			System.out.println("链接：" + href);
			//爬取页面中的作者
			String author = test.select("div.post_item_foot > a.lightblue").text();
			System.out.println("作者：" + author);
			//对爬取的数据进行分割
			System.out.println("---------------------------");
		}
	}
}

运行结果