Java简单爬虫实现

最近闲来无事，就自己写了一个爬虫程序。可能有人会好奇，为什么不用python写呢？答案是：傲娇。我就傲娇的用java写了，怎么滴！其实我是用python写过的，不是说了闲来无事的嘛，用java写写又怎么滴？
首先说说爬虫思路：
1.找到需要爬取的网页。
2.分析网页上面的html元素
3.爬取解析自己想要的信息
话不多说，直接开干。
我觉得大家应该都比较关心房价的，那我们就从链家爬取房价吧。链家地址

看到这里了吧，我们来分析一下，首先名字理想城是需要的吧，其次是商业类这个也是需要关注的吧，因为我们买房子肯定是买住宅一类的，然后房子的位置东中环仙桥北是需要的，房子售价16000是需要的吧。
这就是我们关注的元素，也是我们待会需要爬取的数据。开工。
我利用的是httpclient来抓去整个网页。代码如下：

 public String getHtmlString(String url) throws Exception {
    HttpClient client = HttpClients.createDefault();
    HttpGet get = new HttpGet(url);
    CloseableHttpResponse response = (CloseableHttpResponse) client.execute(get);
    HttpEntity entity = response.getEntity();
    String body = EntityUtils.toString(entity, "UTF-8");
    return body;
  }

然后去网页分析我们需要的元素

我这里给出第一个分析，其余都是一样的原理的。因为网站页面经常在变的，所有到时候以你自己网页上面显示的标签为准（我自己写爬虫玩的时候，和现在写教程标签都不是完全一样的）。上面返回的body是整个网页的字符串，内容就和你查看网页源码的效果差不多的，只不过上面用的字符串把所有不必要的空格都去掉了。解析网页，我用的是jsoup。

    Document document = Jsoup.parse(html);
    Elements name = document.select(".resblock-name a");
    Elements location = document.select(".resblock-location a");
    Elements type = document.select(".resblock-type");
    Elements price = document.select(".number");

这些元素本来应该是直接迭代，如下所示

    Iterator iterator = name.iterator();

但是经过我的观察，我发现可以这样

   String[] strings =  name.text().split(" ");

当然我这种写法不规范的，只是这里刚好可以这样用而已的，万一文字里面多了几个空格，还是老老实实的用迭代器迭代吧。

    String[] names = name.text().split(" ");
    String[] locations = location.text().split(" ");
    String[] prices = price.text().split(" ");
    String[] types = type.text().split(" ");
    for (int i = 0; i < names.length; ++i) {
      House house = new House();
      house.setName(names[i]);
      house.setType(types[i]);
      house.setLocation(locations[i]);
      house.setPrice(prices[i]);
      DB.save(house);
    }

我这里这样写是取巧了，因为每个元素都是刚好配套的，如果稍微有一个元素乱了，整个数据就乱了，如果作为入门级的教程，我觉得这样写应该便于理解的。如果你不明白，你自己打印输出一下对应的字符串应该就可以懂了。最后我们要对每条数据进行存库的，不然你数据爬取就浪费了。
先写一个测试爬取。

    DoMain doMain = new DoMain();
    System.out.println("---------开始爬取----------------------");
    doMain.parseHtml(doMain.getHtmlString(url));
    System.out.println("---------结束爬取----------------------");

爬取结果如下：

一页的数据明显满足不了我的需求嘛，继续第二页走起。


仔细对比第二页和第三页的链接地址，你就发现了规律是不是，当然你发的规律可能和我图中显示不一样的，这个没有关系，你按照你发现的规律走就是了。修改过后的代码如下：

    DoMain doMain = new DoMain();
    System.out.println("---------开始爬取----------------------");
    for (int i = 1; i < 109; ++i) {
      doMain.parseHtml(doMain.getHtmlString("https://cd.fang.lianjia.com/loupan/pg" + i + "/"));
      System.out.println(i);
    }
    System.out.println("---------结束爬取----------------------");

那句打印输出是在控制台看看程序是否是正常运行的，因为有可能会被封ip地址的。为什么循环到109？因为我写这篇的文章的时候链家数据只有109页的。
完成案列下载

end

如有疑问，欢迎留言！