[java爬虫]预告_我脱坑这么久了,头发秃了但更强了,所以我回来了

我回来了,嗯,自己开心一下就可以了.

            并且开一个大坑,关于java语言写爬虫工具的.

                  之后我会过经常写一些有趣的爬虫项目

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class test {

	public static void main(String[] args) {
		String urlString = "https://www.csdn.net/";
		try {
			Document doc = Jsoup.connect(urlString)
					.header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2").get();
			System.out.println(doc);
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

}

做过

  1.静态网页爬取
  2.动态网站爬取
  3.网站登录后爬取
  3.网页接口查找
  4.网站规律查找

 

爬过36氪的24小时新闻

各种小说网

天气小接口

知乎.微博等

也爬过...好吧,还有一些不正经的好网站