java 代理ip抓取网站数据

最新推荐文章于 2024-07-18 17:06:46 发布
最新推荐文章于 2024-07-18 17:06:46 发布
阅读量4k 收藏 6
点赞数
分类专栏： JAVA项目
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangwenru6688/article/details/79239278
版权

   直接上代码

   1.如何获取代理ip

package com.aopa.test;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

/**
 * 获取代理IP，需要
 * com.alibaba.fastjson.JSONObject以及Jsoup
 */
public class ProxyCralwerUnusedVPN {

    ThreadLocal<Integer> localWantedNumber = new ThreadLocal<Integer>();
    ThreadLocal<List<ProxyInfo>> localProxyInfos = new ThreadLocal<List<ProxyInfo>>();

    public static void main(String[] args) {
        ProxyCralwerUnusedVPN proxyCrawler = new ProxyCralwerUnusedVPN();
        /**
         * 想要获取的代理IP个数，由需求方自行指定。（如果个数太多，将导致返回变慢）
         */
        proxyCrawler.startCrawler(3);
    }

    /**
     * 暴露给外部模块调用的入口
     * @param wantedNumber 调用方期望获取到的代理IP个数
     */
    public String startCrawler(int wantedNumber) {
        localWantedNumber.set(wantedNumber);

        kuaidailiCom("http://www.xicidaili.com/nn/", 15);
        kuaidailiCom("http://www.xicidaili.com/nt/", 15);
        kuaidailiCom("http://www.xicidaili.com/wt/", 15);
        kuaidailiCom("http://www.kuaidaili.com/free/inha/", 15);
        kuaidailiCom("http://www.kuaidaili.com/free/intr/", 15);
        kuaidailiCom("http://www.kuaidaili.com/free/outtr/", 15);

        //返回数据ip+端口号
        List<ProxyInfo> rslist = localProxyInfos.get();
        String result = "";
        if(rslist!=null && rslist.size()>0){
        	//获取第一个ip
        	result += rslist.get(0).getIp()+","+rslist.get(0).getPort();
        }
        System.out.println(result);
        
        return result;
    }

    private void kuaidailiCom(String baseUrl, int totalPage) {
        String ipReg = "\\d{1,3}\\.\\d{1,3}\\.\\d{1,3}\\.\\d{1,3} \\d{1,6}";
        Pattern ipPtn = Pattern.compile(ipReg);

        for (int i = 1; i < totalPage; i++) {
            if (getCurrentProxyNumber() >= localWantedNumber.get()) {
                return;
            }
            try {
                Document doc = Jsoup.connect(baseUrl + i + "/")
                        .header("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8")
                        .header("Accept-Encoding", "gzip, deflate, sdch")
                        .header("Accept-Language", "zh-CN,zh;q=0.8,en;q=0.6")
                        .header("Cache-Control", "max-age=0")
                        .header("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36")
                        .header("Cookie", "Hm_lvt_7ed65b1cc4b810e9fd37959c9bb51b31=1462812244; _gat=1; _ga=GA1.2.1061361785.1462812244")
                        .header("Host", "www.kuaidaili.com")
                        .header("Referer", "http://www.kuaidaili.com/free/outha/")
                        .timeout(30 * 1000)
                        .get();
                Matcher m = ipPtn.matcher(doc.text());

                while (m.find()) {
                    if (getCurrentProxyNumber() >= localWantedNumber.get()) {
                        break;
                    }
                    String[] strs = m.group().split(" ");
                    if (checkProxy(strs[0], Integer.parseInt(strs[1]))) {
                        System.out.println("获取到可用代理IP\t" + strs[0] + "\t" + strs[1]);
                        addProxy(strs[0], strs[1], "http");
                    }
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }
    
    /**
     * 判断ip和端口是否有效
     * @param ip
     * @param port
     * @return
     */
    private static boolean checkProxy(String ip, Integer port) {
        try {
            //http://1212.ip138.com/ic.asp 可以换成任何比较快的网页
            Jsoup.connect("http://1212.ip138.com/ic.asp")
                    .timeout(2 * 1000)
                    .proxy(ip, port)
                    .get();
            return true;
        } catch (Exception e) {
            return false;
        }
    }

    private int getCurrentProxyNumber() {
        List<ProxyInfo> proxyInfos = localProxyInfos.get();
        if (proxyInfos == null) {
            proxyInfos = new ArrayList<ProxyInfo>();
            localProxyInfos.set(proxyInfos);
            return 0;
        }
        else {
            return proxyInfos.size();
        }
    }
    private void addProxy(String ip, String port, String protocol){
        List<ProxyInfo> proxyInfos = localProxyInfos.get();
        if (proxyInfos == null) {
            proxyInfos = new ArrayList<ProxyInfo>();
            proxyInfos.add(new ProxyInfo(ip, port, protocol));
        }
        else {
            proxyInfos.add(new ProxyInfo(ip, port, protocol));
        }
    }
    
}



class ProxyInfo {
    private String userName = "";
    private String ip;
    private String password = "";
    private String type;
    private String port;
    private int is_internet = 1;
    public ProxyInfo(String ip, String port, String type) {
        this.ip = ip;
        this.type = type;
        this.port = port;
    }
    public String getUserName() {
        return userName;
    }
    public void setUserName(String userName) {
        this.userName = userName;
    }
    public String getIp() {
        return ip;
    }
    public void setIp(String ip) {
        this.ip = ip;
    }
    public String getPassword() {
        return password;
    }
    public void setPassword(String password) {
        this.password = password;
    }
    public String getType() {
        return type;
    }
    public void setType(String type) {
        this.type = type;
    }
    public String getPort() {
        return port;
    }
    public void setPort(String port) {
        this.port = port;
    }
    public int getIs_internet() {
        return is_internet;
    }
    public void setIs_internet(int is_internet) {
        this.is_internet = is_internet;
    }
}
   运行之后可以获取相关ip：


   2.如何使用代理ip

package com.aopa.test;

import java.io.IOException;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;

import org.apache.commons.lang.StringUtils; 
import java.net.URL;  
import java.net.URLConnection; 
import java.io.BufferedReader;  
import java.io.InputStreamReader;  
import java.io.PrintWriter;  
import java.io.UnsupportedEncodingException;
import java.util.List;  
import java.util.Map;  

import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;


public class MyTest {

	 /**  
     * 向指定 URL 发送POST方法的请求  
     *   
     * @param url  
     *            发送请求的 URL  
     * @param param  
     *            请求参数，请求参数应该是 name1=value1&name2=value2 的形式。  
     * @return 所代表远程资源的响应结果  
     */  
    public static String sendPost(String url, String param) {  
        PrintWriter out = null;  
        BufferedReader in = null;  
        String result = "";  
        try {  
            URL realUrl = new URL(url);  
            // 打开和URL之间的连接  
            URLConnection conn = realUrl.openConnection();  
            // 设置通用的请求属性  
            conn.setRequestProperty("accept", "*/*");  
            conn.setRequestProperty("connection", "Keep-Alive");  
            conn.setRequestProperty("user-agent",  
                    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");  
            // 发送POST请求必须设置如下两行  
            conn.setDoOutput(true);  
            conn.setDoInput(true);  
            // 获取URLConnection对象对应的输出流  
            out = new PrintWriter(conn.getOutputStream());  
            // 发送请求参数  
            out.print(param);  
            // flush输出流的缓冲  
            out.flush();  
            // 定义BufferedReader输入流来读取URL的响应  
            in = new BufferedReader(  
                    new InputStreamReader(conn.getInputStream()));  
            String line;  
            while ((line = in.readLine()) != null) {  
                result += line;  
            }  
        } catch (Exception e) {  
            System.out.println("发送 POST 请求出现异常！" + e);  
            e.printStackTrace();  
        }  
        // 使用finally块来关闭输出流、输入流  
        finally {  
            try {  
                if (out != null) {  
                    out.close();  
                }  
                if (in != null) {  
                    in.close();  
                }  
            } catch (IOException ex) {  
                ex.printStackTrace();  
            }  
        }  
        return result;  
    }  
    
    /** 
     * 向指定URL发送GET方法的请求 
     *  
     * @param url 
     *            发送请求的URL 
     * @param param 
     *            请求参数，请求参数应该是 name1=value1&name2=value2 的形式。 
     * @return URL 所代表远程资源的响应结果 
     * @throws UnsupportedEncodingException 
     */  
    public static String sendGet(String url){  
        String result = "";  
        BufferedReader in = null;  
        try {              
            URL realUrl = new URL(url);  
            // 打开和URL之间的连接  
            URLConnection connection = realUrl.openConnection();  
            // 设置通用的请求属性  
            connection.setRequestProperty("accept", "*/*");  
            connection.setRequestProperty("connection", "Keep-Alive");  
            connection.setRequestProperty("user-agent",  
                    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");  
            // 建立实际的连接  
            connection.connect();  
            // 获取所有响应头字段  
            Map<String, List<String>> map = connection.getHeaderFields();  
            // 遍历所有的响应头字段  
            for (String key : map.keySet()) {  
                System.out.println(key + "--->" + map.get(key));  
            }  
            // 定义 BufferedReader输入流来读取URL的响应  
            in = new BufferedReader(new InputStreamReader(  
                    connection.getInputStream()));  
            String line;  
            while ((line = in.readLine()) != null) {  
                result += line;  
            }  
        } catch (Exception e) {  
            System.out.println("发送GET请求出现异常！" + e);  
            e.printStackTrace();  
        }  
        // 使用finally块来关闭输入流  
        finally {  
            try {  
                if (in != null) {  
                    in.close();  
                }  
            } catch (Exception e2) {  
                e2.printStackTrace();  
            }  
        }  
        return result;  
    }  
    
	public static void main(String[] args) throws IOException{
		try {
			//获取代理ip
			ProxyCralwerUnusedVPN proxyCrawler = new ProxyCralwerUnusedVPN();
			//想要获取的代理IP个数，由需求方自行指定。（如果个数太多，将导致返回变慢）
	        String ipresult =  proxyCrawler.startCrawler(1);
	        if(!("").equals(ipresult)&&ipresult.length()>2){
	        	String[] iphost = ipresult.split(",");
	        	System.out.println("获取IP------>"+iphost[0]);
		        System.out.println("获取IP------>"+iphost[1]);
		     // 如果不设置，只要代理IP和代理端口正确  
		        System.getProperties().setProperty("http.proxyHost", iphost[0]);  
		        System.getProperties().setProperty("http.proxyPort", iphost[1]);  
	        }else{
	        	// 如果不设置，只要代理IP和代理端口正确  
		        System.getProperties().setProperty("http.proxyHost", "58.252.6.165");  
		        System.getProperties().setProperty("http.proxyPort", "9000");  
	        }
			
	        //获取地震数据
			SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); 
			String getbegin = "2015-04-25 01:00:00";
			String begin = getbegin.substring(0,10);
			Calendar c = Calendar.getInstance();  
			c.setTime(sdf.parse(getbegin));
			//设置当前日期  
	        c.add(Calendar.YEAR, 1); //间隔时间
			String end = sdf.format(c.getTime()).substring(0,10);
			//获取地震历史数据
	        String url = "http://www.ceic.ac.cn/ajax/search?page=1&&start="+begin+"&&end="+end+"&&jingdu1=&&jingdu2=&&weidu1=&&weidu2=&&height1=&&height2=&&zhenji1=&&zhenji2=";
			String result = sendGet(url);
	        System.out.println(result);
	        if(result!=null&&!("").equals(result)){
	        	String val = StringUtils.substringBeforeLast(result.substring(1), ")"); 
	            JSONObject jsStr = JSONObject.parseObject(val);
	            JSONArray shuju = jsStr.getJSONArray("shuju");
	            Date oldhappenTime = sdf.parse(getbegin); //上次存储的最晚地震发生时刻
	        	Date newbeginTime = sdf.parse(getbegin); //记录新的最晚地震发生时刻（存到Redis中用于记录）
	            for (int i = 0; i < shuju.size(); i++) {  
	                JSONObject js = shuju.getJSONObject(i);  
	                Date happenTime = sdf.parse(js.getString("O_TIME")); //地震发生时刻
	                String name = js.getString("LOCATION_C");//名称
	        		if(happenTime.after(oldhappenTime)){
	        			System.out.println(sdf.format(happenTime)+name);
	        			//记录新的最晚地震发生时刻（存到Redis中用于记录）
	 	                if(happenTime.after(newbeginTime)){
	 	                	newbeginTime=happenTime;//交换值
	 	                }
	        		}
	            }  
	            System.out.println("最晚地震时刻："+sdf.format(newbeginTime));
	            System.out.println(shuju.size());
	            System.out.println(end);
	        
	        }
	       
		} catch (java.text.ParseException e) {
			e.printStackTrace();
		}
	}
}
   获取数据：



期待王教授
关注
专栏目录
java实现免费代理IP的获取方式 并实时校验代理IP是否有效
09-30
Java 实现免费代理IP的获取方式 并动态实时校验是否有效，java文件项目内含有Jsoup的Jar包（Jsoup是加工过的，含请求），有2个主入口程序： 其一：用于请求代理IP，并立即校验是否是一个有效的代理IP，如果有效，保存到相应的文件中。。。 其二：对已下载到本地的代理IP进行再筛选，对失效的代理IP进行处理，对任然有效的ip进行保存 结语：如果对你有帮助，请为我评论点赞
java使用proxy类设置代理ip
11-17
获取网络资源，使用动态代理ip解决单个ip访问次数限制问题
Java中使用代理IP的詳細教程
最新发布
ecommerce_Amazon的博客
07-18 522
Java中使用代理IP的詳細教程。
Java实现IP代理
热门推荐
Java晋升指北
02-27 1万+
Java实现IP代理 新建Maven项目：atm_csdn_blog 引入jsoup依赖 1、MyProxyIp实体类 引入依赖 &lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLoc...
Java 设置代理IP 访问网络
泉诚软件设计工作室
11-09 6760
一. 工具准备 为了能够验证Java程序是否真的通过代理访问网络，还是准备一个代理工具：fiddler，很好的一个能监视http、https的debug工具，附件中有。 二. 开始 先写一段简单的网络访问程序，如下： import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream;
Java网络爬虫抓取代理ip
06-12
通过Java网络爬虫爬取指定代理ip网上的ip，利用了jsoup、httpclient技术实现
java爬虫，利用代理IP爬取大众点评网站内容.zip
03-08
爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL...
Java网页抓取数据
04-16
以上是Java网页抓取数据的基本知识框架，实践中还需要根据具体需求和目标网站的特点进行灵活调整。`WebpageCaptureDemo`可能是一个示例项目，包含了上述部分或全部技术的应用，通过阅读和学习这个示例，可以更好地...
java解析html抓取网站数据采集网站信息
06-20
为解决这些问题，可以采用设置User-Agent、延迟请求、使用代理IP、处理JavaScript等技术。 此外，对于大规模的数据采集，可能需要考虑多线程或分布式爬虫，例如使用Apache HttpClient或OkHttp并发请求，或者结合...
java抓取网页数据示例
09-04
Java抓取网页数据是网络编程中的一个重要实践，通常用于数据挖掘、信息分析或自动化测试等场景。这个过程涉及到HTTP协议的理解...同时，频繁的抓取可能会导致IP被封禁，因此在实际应用中可能需要添加延时或使用代理IP。
Java抓取https网页数据
11-18
Java抓取https网页数据，解决peer not authenticated异常。导入eclipse就能运行，带有所用的jar包（commons-httpclient-3.1.jar，commons-logging.jar，httpclient-4.2.5.jar，httpcore-4.2.4.jar）
Java采集最新动态代理IP
10-12
Jsoup实现代理IP的爬取，突破IP的访问限制，实现动态IP代理
Jsoup 网络爬虫（动态ip代理，突破ip访问次数限制） 爬取全国各省市区数据
08-08
Jsoup实现省市区的爬取，突破ip的访问限制，实现动态ip代理，爬取最新的省市区信息
Java怎么设置代理ip
随便写写
05-25 1640
以上代码中，我们设置了一个代理IP和端口号，并且设置了代理用户名和密码。System.setProperty("https.proxyPassword", "代理密码");System.setProperty("https.proxyUser", "代理用户名");System.setProperty("https.proxyPort","代理端口号");System.setProperty("https.proxyHost","代理地址");// 设置代理IP和端口号，注意端口号要写字符串。
Java如何使用IP代理？
xinxinhenmeihao的博客
09-14 184
使用代理IP可以隐藏你的真实IP地址并访问被屏蔽的网站，提高爬虫效率等。找到可用的代理IP：可以在网上搜索可用的免费代理IP，也可以购买付费代理IP。注意：使用代理IP需要注意隐私和安全问题，尽量使用可信赖的代理IP。安装requests模块：打开终端输入。分别为代理服务器的IP地址和端口号。分别代表http和https请求，
用python和java写一段，用代理IP访问的网站的例子，要带上cookie
liuruiaaa的博客
03-04 162
用python和java写一段，用代理IP访问的网站的例子，要带上cookie
java如何用代理ip？
xiaoxionghttp的博客
01-31 646
随着互联网的日益发展，网络爬虫和数据挖掘等技术逐渐成为各行各业的需求。在这个领域中，代理 IP 扮演着重要的角色。那么，什么是 Java 代理 IP？如何使用 Java 实现代理 IP 访问网站呢？
java 设置代理IP
NsdnResponsibility的博客
02-10 1181
public static void main(String[] args) { System.setProperty("http.maxRedirects", "50"); System.getProperties().setProperty("proxySet", "true"); String ip = "xxx.xxx.xxx.xxx";
Java+Jsoup爬虫教程：抓取招聘网站Java职位信息
- 使用代理IP或设置请求间隔，减少被目标网站封禁的风险。 - 对于动态加载的内容，可能需要模拟浏览器行为或使用Selenium等工具。 通过以上步骤，你可以构建一个基础的Java+Jsoup爬虫，定期抓取并存储招聘网站上...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值