利用java的jsoup写了一个小爬虫,自己测试玩,抓起安居客的房源信息。
主要是解析html代码元素。同理可以解析其他网页html。
抓多了IP会被踢出,然后验证。
可以翻墙或者动态IP去抓取数据。我这边就是翻墙去测试的。
package com.fangejia.web.admin.jsoup;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
/**
* Created by Author: lihongliang on 2017/3/1.
* Email: 425631071@qq.com
* Description:
*/
public class jsoupTest {
public static void main(String[] args) {
try {
new jsoupTest().AnjukeRentHouse();
} catch (Exception e) {
e.printStackTrace();
}
}
/**
*
* @throws Exception
*/
public void AnjukeR