jsoup 爬取数据(一)

本人因需要大量数据,今天第一天接触爬虫,使用江湖传说java下的jquery之称的jsoup,确实很方便易上手,也是目前比较流行的技术,对初学者来说非常easy,下面我也会继续写n篇记录自己的学习成长曲线,后续会出分页爬取与图片爬取,以及添加数据库的blog.

可以看到文章列表都在class=”list”下,list_title下的结构如下,爬取link_title下href元素与html内容

1. maven的pom添加如下依赖

<dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.7.3</version>
</dependency>

1. junit测试代码

@Test
    public void getBlogText(){
        Connection connection = Jsoup.connect("http://blog.csdn.net/qq_30581017");
        connection.header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36");

        try {
            Document document = connection.timeout(100000).get();

            //包含所有列表的文章
            Elements elements = document.getElementsByClass("list").first().children();
            for (Element element : elements) {
              //link_title下元素所有的元素
               Elements list_item = element.getElementsByClass("link_title").first().children();

                for (Element elementEach : list_item) {

                        String path = elementEach.attr("href");

                        String text = elementEach.html();

                    System.out.println(path + " -> " + text);
                }
            }



        } catch (IOException e) {
            e.printStackTrace();
        }


    }

3.测试结果