获取免费的代理ip

/**
 * @author fanlinglong
 * @create 2017-11-20 17:14
 **/
public class ObtainProxyIP {
    public final static String PROXYIP_URL_PAGE = "http://www.xsdaili.com/dayProxy/ip/";


    //获取所有的代理IP
    public List<ProxyIP> obtainProxyIP(int type) {
        List<ProxyIP> ips = new ArrayList<ProxyIP>();
        ProxyIP proxyIP;
        //获取总页数
        int maxPageSize = 389;
        //获取所有页的代理IP和端口
        for (int i = maxPageSize; i >= 0; i--) {
            String url = BaseURL.PROXYIP_URL_PAGE + i + ".html";
            Document document = HttpTools.getDocumentByParse(url);
            //获得页面所有的tr元素
            Elements elements = document.body().getElementsByClass("cont");
            String text = elements.text();

            //text = "114.252.81.137:8888@HTTP#[高匿名]北京北京 中国联通 113.92.2.166:9797@HTTP#[透明]广东深圳 中国电信 120.77.182.248:80@HTTP#[高匿名]广东深圳 阿里云 163.125.72.217:9797@HTTP#[透明]广东深圳 中国联通 163.125.72.221:9797@HTTP#[透明]广东深圳 中国联通 118.193.107.167:80@HTTP#[高匿名]北京北京 中国电信 119.122.30.61:9000@HTTPS#[透明]广东深圳 中国电信 27.153.129.100:808@HTTP#[高匿名]福建莆田 中国电信 125.66.140.27:53281@HTTP#[透明]四川自贡 中国电信 118.193.107.88:80@HTTP#[高匿名]北京北京 中国电信 118.193.107.135:80@HTTP#[高匿名]北京北京 中国电信 118.193.107.130:80@HTTP#[高匿名]北京北京 中国电信 118.193.107.238:80@HTTP#[高匿名]北京北京 中国电信 183.30.204.254:9000@HTTP#[透明]广东惠州 中国电信 49.4.2.76:80@HTTP#[高匿名]北京北京 中国联通 118.193.107.182:80@HTTP#[高匿名]北京北京 中国电信 60.2.148.253:80@HTTP#[高匿名]河北唐山 中国联通 60.174.233.154:9999@HTTPS#[透明]安徽合肥 中国电信 116.199.115.79:82@HTTP#[高匿名]广东广州 珠江宽频 120.198.224.102:8088@HTTP#[高匿名]广东汕头 中国移动 182.34.19.4:808@HTTPS#[高匿名]山东烟台 中国电信 202.117.120.242:8080@HTTPS#[透明]陕西西安 教育网 120.198.224.106:8080@HTTP#[高匿名]广东汕头 中国移动 120.198.224.109:8088@HTTP#[高匿名]广东汕头 中国移动 118.193.107.93:80@HTTP#[高匿名]北京北京 中国电信 118.193.107.168:80@HTTP#[高匿名]北京北京 中国电信 118.193.107.76:80@HTTP#[高匿名]北京北京 中国电信 61.142.240.132:808@HTTPS#[高匿名]广东佛山 中国电信 42.157.5.154:9999@HTTPS#[透明]安徽合肥 中国联通 118.193.107.234:80@HTTP#[高匿名]北京北京 中国电信 58.87.87.142:80@HTTP#[高匿名]天津天津 腾讯网络 118.193.107.175:80@HTTP#[高匿名]北京北京 中国电信 118.193.107.245:80@HTTP#[高匿名]北京北京 中国电信 118.193.107.209:80@HTTP#[高匿名]北京北京 中国电信 101.4.136.34:80@HTTP#[高匿名]北京北京 教育网 120.15.3.89:9000@HTTPS#[透明]河北衡水 中国联通 110.73.4.148:8123@HTTP#[高匿名]广西壮族自治区防城港 中国联通 122.228.25.97:8101@HTTP#[透明]浙江温州 中国电信 118.193.107.123:80@HTTP#[高匿名]北京北京 中国电信 117.139.126.236:53281@HTTPS#[高匿名]四川内江 中国移动 60.178.1.92:8081@HTTP#[高匿名]浙江宁波 中国电信 120.198.224.7:8088@HTTP#[高匿名]广东惠州 中国移动 116.199.115.78:82@HTTP#[高匿名]广东广州 珠江宽频 139.209.90.50:80@HTTP#[高匿名]吉林白城 中国联通 221.237.154.58:9999@HTTP#[透明]四川成都 中国电信 113.83.219.198:9797@HTTPS#[透明]广东惠州 中国电信 211.143.156.11:80@HTTPS#[高匿名]福建福州 中国移动 58.247.127.145:53281@HTTPS#[透明]上海上海 中国联通 111.231.68.73:80@HTTP#[高匿名]上海上海 腾讯 61.136.163.247:8103@HTTP#[透明]湖北十堰 中国电信 118.190.119.12:1080@HTTP#[高匿名]山东青岛 阿里云 14.29.84.50:8080@HTTP#[透明]广东广州 中国电信 171.221.71.93:9999@HTTPS#[透明]四川成都 中国电信 120.198.224.103:8080@HTTP#[高匿名]广东汕头 中国移动 27.184.154.194:8888@HTTP#[高匿名]河北石家庄 中国电信 120.198.224.107:8080@HTTP#[高匿名]广东汕头 中国移动 106.75.56.191:80@HTTP#[高匿名]北京北京 中国联通 118.89.164.175:8080@HTTP#[普匿]上海上海 腾讯 183.215.140.117:8118@HTTP#[高匿名]湖南 中国移动 61.141.186.206:9797@HTTPS#[透明]广东深圳 中国电信 180.167.46.22:65103@HTTPS#[高匿名]上海上海 中国电信 106.14.241.155:80@HTTPS#[普匿]上海上海 阿里云 120.198.224.6:8080@HTTP#[高匿名]广东惠州 中国移动 118.193.107.230:80@HTTP#[高匿名]北京北京 中国电信 118.193.107.122:80@HTTP#[高匿名]北京北京 中国电信 118.193.107.16:80@HTTP#[高匿名]北京北京 中国电信 121.40.108.76:80@HTTPS#[普匿]浙江杭州 阿里云 120.198.224.5:8080@HTTP#[高匿名]广东惠州 中国移动 124.42.7.103:80@HTTP#[高匿名]北京北京 中国电信 120.198.224.7:8080@HTTP#[高匿名]广东惠州 中国移动 183.184.112.32:9797@HTTPS#[透明]山西太原 中国联通 218.56.132.155:8080@HTTP#[透明]山东临沂 中国联通 119.36.92.47:80@HTTP#[高匿名]湖北武汉 中国联通 118.193.107.137:80@HTTP#[高匿名]北京北京 中国电信 119.36.92.42:81@HTTP#[高匿名]湖北武汉 中国联通 119.36.92.41:80@HTTP#[高匿名]湖北武汉 中国联通 119.36.92.47:81@HTTP#[高匿名]湖北武汉 中国联通 119.36.92.46:81@HTTP#[高匿名]湖北武汉 中国联通 119.36.92.42:80@HTTP#[高匿名]湖北武汉 中国联通 119.36.92.46:80@HTTP#[高匿名]湖北武汉 中国联通 60.215.207.37:8888@HTTP#[高匿名]山东烟台 中国联通 119.36.92.41:81@HTTP#[高匿名]湖北武汉 中国联通 60.13.74.168:80@HTTP#[高匿名]海南海口 中国联通 106.39.179.162:80@HTTP#[高匿名]北京北京 中国电信 118.193.107.68:80@HTTP#[高匿名]北京北京 中国电信 118.193.107.94:80@HTTP#[高匿名]北京北京 中国电信 120.198.224.102:8080@HTTP#[高匿名]广东汕头 中国移动 118.193.107.48:80@HTTP#[高匿名]北京北京 中国电信 118.193.107.202:80@HTTP#[高匿名]北京北京 中国电信 118.193.107.49:80@HTTP#[高匿名]北京北京 中国电信 118.193.107.95:80@HTTP#[高匿名]北京北京 中国电信 118.178.228.175:3128@HTTP#[透明]浙江杭州 阿里云 118.193.107.101:80@HTTP#[高匿名]北京北京 中国电信 118.193.107.170:80@HTTP#[高匿名]北京北京 中国电信 120.198.224.104:8080@HTTP#[高匿名]广东汕头 中国移动 106.39.179.9:80@HTTP#[高匿名]北京北京 中国电信 120.198.224.109:8080@HTTP#[高匿名]广东汕头 中国移动 183.129.160.75:3128@HTTPS#[透明]浙江杭州 中国电信 118.193.107.62:80@HTTP#[高匿名]北京北京 中国电信 118.193.107.119:80@HTTP#[高匿名]北京北京 中国电信";

            //<div class="cont">
            //<br> 114.252.81.137:8888@HTTP#[高匿名]北京北京 中国联通
            //<br>113.92.2.166:9797@HTTP#[透明]广东深圳 中国电信
            //<br>118.193.107.62:80@HTTP#[高匿名]北京北京 中国电信
            //<br>118.193.107.119:80@HTTP#[高匿名]北京北京 中国电信
            //<br>
            //</div>

            String[] split = text.split("@");

            int size =  split.length -1;
            for (int j = 1; j < size; j++) {
                String addr = "";
                String port = "";

                String str = split[j];
                int pos = str.lastIndexOf(" ");
                if(pos > 0){
                    str = str.substring(pos);
                }

                String[] ipStr = str.split(":");
                addr = ipStr[0];
                port = ipStr[1];

                proxyIP = new ProxyIP();
                proxyIP.setAddress(addr);
                proxyIP.setPort(port);
                ips.add(proxyIP);
            }
        }
        return ips;
    }
}