我回来了,嗯,自己开心一下就可以了.
并且开一个大坑,关于java语言写爬虫工具的.
之后我会过经常写一些有趣的爬虫项目
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
public class test {
public static void main(String[] args) {
String urlString = "https://www.csdn.net/";
try {
Document doc = Jsoup.connect(urlString)
.header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2").get();
System.out.println(doc);
} catch (IOException e) {
e.printStackTrace();
}
}
}
做过
1.静态网页爬取
2.动态网站爬取
3.网站登录后爬取
3.网页接口查找
4.网站规律查找
爬过36氪的24小时新闻
各种小说网
天气小接口
知乎.微博等
也爬过...好吧,还有一些不正经的好网站