简单爬虫

利用jsoup访问网页：
所需依赖：jsoup.jar

Document doc = Jsoup.connect(link)
                .header("Accept", "*/*")
                .header("Accept-Encoding", "gzip, deflate")
                .header("Accept-Language", "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3")
                .header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:48.0) Gecko/20100101 Firefox/48.0")
                .header("Cookie",cookies)
                .timeout(5000)
                .get();

接下来可以使用jQuery来处理dom。

一些常用代码：

if (doc.select("div.TalkPostDetail__media").size() > 0) { //判断是否找到元素
            System.out.println("ccc");
        }