使用java爬取网页上的数据

要爬的网页：https://list.jd.com/list.html?cat=9987,653,655&page=1&sort=sort_rank_asc&trans=1&JL=6_0_0&ms=9#J_main

导入jsoup包支持!

jsoup所提供的方法

获取元素的有：
getElementById(String id)
getElementsByTag(String tag)
getElementsByClass(String className)
getElementsByAttribute(String key)
siblingElements(), firstElementSibling(), lastElementSibling(); nextElementSibling(), previousElementSibling()
parent(), children(), child(int index)
获取元素数据：
attr(String key) 获取属性
attr(String key, String value) 设置属性
attributes() 获取所有属性
id(), className() and classNames()
text() 获取文字内容
text(String value) 设置文字内容
html() 获取html内容
html(String value) 设置html内容
outerHtml()
data() 获取类似script，style的数据内容
tag() and tagName()
操作HTML内容：
append(String html), prepend(String html)
appendText(String text), prependText(String text)
appendElement(String tagName), prependElement(String tagName)
html(String value)

创建一个实例标准

@RequestMapping("JD")
    public String mav() {
        String url = "https://list.jd.com/list.html?cat=9987,653,655&page=";
        String urlh = "&sort=sort_rank_asc&trans=1&JL=6_0_0&ms=9#J_main";
        Document doc = null;

        for (int i = 1; i < 3; i++) {

            try {
                doc = Jsoup.connect(url + i + urlh).get();
                Elements el = doc.getElementsByClass("gl-item");
                for (Element element : el) {
                    Elements img = element.getElementsByClass("p-img").select("img");
                    Elements name = element.getElementsByClass("p-name").select("em");
                    Elements danjia = element.getElementsByClass("J_price");

                    //放入数据库操作，！！！！自己理解为放入数据库操作
                    System.out.println("第" + i + "页");
                    System.out.println("地址:" + img.attr("src"));
                    System.out.println("名字:" + name.text());
                    System.out.println("单价:" + danjia.select("i").text());
                    System.out.println();

                }
            } catch (IOException e) {
                // System.out.println("以上地址获取页面错误");
                e.printStackTrace();
            }

        }
        // System.out.println(doc);
        return "doc.toString()获取状态:OK";
    }