java 爬取代理IP 终极版

最新推荐文章于 2024-03-13 01:45:07 发布
最新推荐文章于 2024-03-13 01:45:07 发布
阅读量1k 收藏 1
点赞数
分类专栏： 队列 socket
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ruiguang21/article/details/78564330
版权

思路: 获取网页上的代理IP--实体/集合--验证ip是否测通--设置响应时间--200的放到队列里面

package com.yanshu.service;


import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.InetAddress;
import java.net.URL;
import java.net.UnknownHostException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.HashSet;
import java.util.LinkedList;
import java.util.List;
import java.util.Map;
import java.util.Queue;
import java.util.Timer;
import java.util.TimerTask;
import java.util.regex.Matcher;
import java.util.regex.Pattern;


import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.springframework.context.annotation.Primary;
import org.springframework.stereotype.Service;


import com.alibaba.fastjson.JSON;
import com.yanshu.pojo.ProxyPojo;
import com.yanshu.utils.AbstractSpider;
import com.yanshu.utils.ProxyUtil;
@Service
@Primary
public class ProxyService {
static List listIPCode=new ArrayList<>();
 Queue queueonejson = new LinkedList<>();
 Queue queueonetxt = new LinkedList<>();
//根据给定的网站，解析html。解析完成后把代理存到队列。
public  List<ProxyPojo> getProxys() throws Exception
{
//http://www.ip181.com/
//http://www.httpdaili.com/mfdl/
String str = "http://www.ip181.com/";
Document doc = Jsoup.connect(str)
.header("Accept",
"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8")
.header("Accept-Encoding", "gzip, deflate").header("Accept-Language", "zh-CN,zh;q=0.8")
.header("Cookie",
"yd_cookie=e64da574-bcaf-4d0399793aa77242311f7594721786d92f16; _ydclearance=7cf765a4ef379341c2883e12-7e36-4a16-9700-cf015dcb3470-1506759060; channelid=0; sid=1506751100012222; Hm_lvt_7ed65b1cc4b810e9fd37959c9bb51b31=1506565718,1506751872; Hm_lpvt_7ed65b1cc4b810e9fd37959c9bb51b31=1506751952; _ga=GA1.2.134580015.1506565719; _gid=GA1.2.1367043272.1506751872; _gat=1")
.header("User-Agent",
"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36")
.get();

//System.out.println(doc.text());
//Document doc = Jsoup.connect(str).get();
//#kb-wall-truth-list > li:nth-child(1) > div > div.kb-item-wrap11 > table > tbody >
Elements tag = doc.select(" tr");
List<ProxyPojo> proxys = new ArrayList<ProxyPojo>();
for (Element element : tag)
{
//使用选择器获取到每一个tr的下面的第一个td标签
String ip = element.select("td:nth-child(1)").text();
String prot = element.select("td:nth-child(2)").text();
String city = element.select("td:nth-child(6)").text();

if (ip.contains("端口号") || prot.contains("端口") || "".equals(ip) || "".equals(prot))
{
continue;
}

String content = "IP"+ ip + "端口号:"+ prot + "城市：" +city;

ProxyPojo proxy = new ProxyPojo(); 

proxy.setIp(ip);
proxy.setProt(prot);
proxy.setCity(city);
proxys.add(proxy);

}
if (proxys.size() > 1) {
for (ProxyPojo entity : proxys) {
String enip = entity.getIp();
//System.out.println(isPing(enip));
// isReachable方法是测试主机是否可以联通
if (isPing(enip) == true) {


String enProt = entity.getProt();
String hurl = enip + ":" + enProt;
try {


Timer timer = new Timer();
timer.schedule(new TimerTask() {
public void run() {


URL url;
try {
// 生成一个URL对象，要获取源代码的网页地址为：http://www.sina.com.cn
url = new URL("http://" + hurl);
//System.out.println("url==>" + url);
// 打开URL
HttpURLConnection urlConnection = (HttpURLConnection) url.openConnection();
int responsecode = 0;
// 获取服务器响应代码
responsecode = urlConnection.getResponseCode();
//System.out.println("code==>" + responsecode);
if (responsecode == 200) {
queueonejson.offer(entity);
//System.out.println("code200:==" + queueFourtxt);
}
} catch (Exception e) {
// TODO Auto-generated catch block
System.out.println("获取不到网页的源码，服务器响应代码为：" + e);
}
}
}, 1000);// 设定指定的时间time,此处为2000毫秒
} catch (Exception e) {
// TODO Auto-generated catch block
System.out.println("获取不到网页的源码，服务器响应代码为：" + e);
}
}
}
}
//return (List<ProxyPojo>) queueonejson;
int size = queueonejson.size();
List listproxy=new ArrayList();
Map mapproxy=new HashMap();
mapproxy.put("code", "302");
mapproxy.put("message", "No data!!!");
listproxy.add(mapproxy);
return size!=0?(List<ProxyPojo>) queueonejson:(List<ProxyPojo>) JSON.toJSON(listproxy);

}

//根据给定的网站，解析html。解析完成后把代理存到队列。
public  List<?> getProxy() throws Exception
{

String ipReg = "\\d{1,3}\\.\\d{1,3}\\.\\d{1,3}\\.\\d{1,3} \\d{1,6}";
Pattern ipPtn = Pattern.compile(ipReg);
//http://www.ip181.com/
//http://www.httpdaili.com/mfdl/
String str = "http://www.ip181.com/";
Document doc = Jsoup.connect(str)
.header("Accept",
"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8")
.header("Accept-Encoding", "gzip, deflate").header("Accept-Language", "zh-CN,zh;q=0.8")
.header("Cookie",
"yd_cookie=e64da574-bcaf-4d0399793aa77242311f7594721786d92f16; _ydclearance=7cf765a4ef379341c2883e12-7e36-4a16-9700-cf015dcb3470-1506759060; channelid=0; sid=1506751100012222; Hm_lvt_7ed65b1cc4b810e9fd37959c9bb51b31=1506565718,1506751872; Hm_lpvt_7ed65b1cc4b810e9fd37959c9bb51b31=1506751952; _ga=GA1.2.134580015.1506565719; _gid=GA1.2.1367043272.1506751872; _gat=1")
.header("User-Agent",
"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36")
.get();

//Document doc = Jsoup.connect(str).get();
//#kb-wall-truth-list > li:nth-child(1) > div > div.kb-item-wrap11 > table > tbody >
Elements tag = doc.select(" tr");
List<ProxyPojo> proxys = new ArrayList<ProxyPojo>();
for (Element element : tag)
{
//使用选择器获取到每一个tr的下面的第一个td标签
String ip = element.select("td:nth-child(1)").text();
String prot = element.select("td:nth-child(2)").text();
String city = element.select("td:nth-child(6)").text();

if (ip.contains("端口号") || prot.contains("端口") || "".equals(ip) || "".equals(prot))
{
continue;
}

String content = "IP"+ ip + "端口号:"+ prot + "城市：" +city;

ProxyPojo proxy = new ProxyPojo(); 

proxy.setIp(ip);
proxy.setProt(prot);
proxy.setCity(city);
proxys.add(proxy);

}
if (proxys.size() > 1) {
for (ProxyPojo entity : proxys) {
String enip = entity.getIp();
//System.out.println(isPing(enip));
// isReachable方法是测试主机是否可以联通
if (isPing(enip) == true) {


String enProt = entity.getProt();
String hurl = enip + ":" + enProt;
try {


Timer timer = new Timer();
timer.schedule(new TimerTask() {
public void run() {


URL url;
try {
// 生成一个URL对象，要获取源代码的网页地址为：http://www.sina.com.cn
url = new URL("http://" + hurl);
// System.out.println("url==>" + url);
// 打开URL
HttpURLConnection urlConnection = (HttpURLConnection) url.openConnection();
int responsecode = 0;
// 获取服务器响应代码
responsecode = urlConnection.getResponseCode();

if (responsecode == 200) {
queueonetxt.offer(hurl);

}
} catch (Exception e) {
// TODO Auto-generated catch block
System.out.println("获取不到网页的源码，服务器响应代码为：" + e);
}
}
}, 1000);// 设定指定的时间time,此处为2000毫秒
} catch (Exception e) {
// TODO Auto-generated catch block
System.out.println("获取不到网页的源码，服务器响应代码为：" + e);
}
}
}
}
//return (List<?>) removeDuplicate(queueonetxt);
int size = queueonetxt.size();
List listproxy=new ArrayList();
Map mapproxy=new HashMap();
mapproxy.put("code", "302");
mapproxy.put("message", "No data!!!");
listproxy.add(mapproxy);
return size!=0?(List<?>) removeDuplicate(queueonetxt):(List<?>) JSON.toJSON(listproxy);

}

//使用isReachable方法探测主机是否可以连通
  public static boolean isPing(String ip) {
       boolean status = false;
       if(ip != null) {
           try {
               status = InetAddress.getByName(ip).isReachable(1000);
               //System.out.println("status==>"+status);
           } catch(UnknownHostException e) {
           }
           catch(IOException e) {
           }
       }
       return status;
   }
  


  public static int getCode(String httpurl)
  {
  URL url;
       int responsecode = 0;
       HttpURLConnection urlConnection;
     
       try{
           //生成一个URL对象，要获取源代码的网页地址为：http://www.sina.com.cn
           url=new URL("http://"+httpurl);
           //打开URL
           urlConnection = (HttpURLConnection)url.openConnection();
           //获取服务器响应代码
           responsecode=urlConnection.getResponseCode();
           //等待3秒--如果不行就下一个---不能超时
    /* int maxCount = 2;
           int currentCount = 0;
           while(currentCount < maxCount){
               int code = responsecode;
               if (code!= 200){ // 请求不成功
                System.out.println("---111---");
                        currentCount++;
                        System.out.println("---currentCount---"+currentCount);
                        Thread.sleep(3000);// 等待3s
               }
       }*/
          
           //System.out.println("responsecode==>"+responsecode);
           if(responsecode==200){
              System.out.println("httpurl==>"+httpurl);
           }
           else{
               System.out.println("获取不到网页的源码，服务器响应代码为："+responsecode);
           }
       }
       catch(Exception e){
           System.out.println("获取不到网页的源码,出现异常："+e);
       }
return responsecode;
  }
/**
* 去除重复元素
*
* @param queueAll
*            需要处理的list
* @param <T>
*            泛型方法
* @return 去重后的list
*/
public static <T> List<T> removeDuplicate(Queue queueAll) {
if (queueAll == null || queueAll.size() == 0) {
return new ArrayList<>();
}
return new ArrayList<>(new HashSet<>(queueAll));
}


 





}

ruiguang21
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java-爬取代理IP
07-19
使用java编写的爬虫，主要爬去代理IP，并存入数据库，方便其他项目使用
java爬虫技术（IP代理）
不积跬步，无以至千里
04-22 1575
爬虫是一门很重要的技术，在数据爬取的过程，IP需要经常变更，防备被爬取网站forbidden。本文主要介绍如何适用api获取代理ip，进行数据抓取。 下面的demo中代理ip来自于服务商ipidea，其他服务商使用方法基本类似。 (1)注册账号 请在服务商http://sem.ipidea.net/getapi/网站注册账号，并认证。 (2)根据要求添加IP白名单 （3）获取 IP和端口 获取到一个IP和端口 (4)将得到的ip和port更换到demo 里，并执行。 packa
JAVA如何获取服务器ip
好好学习，天天向上
10-17 3029
在使用代理服务器时，如果想要获取代理服务器的IP地址，可以使用其他方法来实现，例如可以发送一个HTTP请求到一个公共的IP地址查询服务，然后从返回的响应中解析出代理服务器的IP地址。，该服务会返回我们的公共IP地址。为了获取正确的IP地址，可以使用其他方法来获取服务器上所有的网络接口，并遍历每个网络接口来获取对应的IP地址。该方法返回的是默认的本地地址，可能是服务器上某个网络接口的IP地址，但不一定是我们期望获取的IP地址。方法返回的是本地主机（即运行该代码的主机）的IP地址，而不是代理服务器的IP地址。
Java爬虫-获取数据的方式之一
最新发布
qq_33627452的博客
03-13 1515
jsoup 是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API，可通过 DOM，CSS 以及类似于 jQuery 的操作方法来取出和操作数据。Selenium是一系列基于Web的自动化工具，提供一套测试函数，用于支持Web自动化测试。函数非常灵活，能够完成界面元素定位、窗口跳转、结果比较。具有如下特点：多浏览器支持如IE、Firefox、Safari、Chrome、Android手机浏览器等。支持多语言。
某网站cookies携带https_ydclearance获取正文
qq_43695167的博客
10-23 748
根据抓包返回的两个请求进行访问，发现获取正文需cookies携带https_ydclearance。运行此段js结果如下，可知从第一次请求的返回中获取cookies。
python爬虫-实现代理池的爬虫模块(proxy_spider)
IT瘾君子的博客
11-23 1087
python编程快速上手（持续更新中…） python爬虫热点项目（Flask ) 1 爬虫模块的需求 抓取各个免费代理ip网站上的免费代理IP,如果可用保存数据库中，需要抓取代理ip页面如下： 2 爬虫模块的设计思路 通用爬虫: 通过指定URL列表, 分组XPATH和组内XPATH, 来提取不同网站的代理IP 具体爬虫: 用于抓取具体代理IP网站,通过继承通用爬虫实现 爬虫运行模块: 启动爬虫, 抓取代理IP, 进行检测, 如果可用, 就存储到数据库中; 3 实现通用爬虫（base_spider.py）
Java中获取当前服务器的IP地址
qq_40453972的博客
03-09 1万+
Java中获取当前服务器的IP地址
Java网络爬虫抓取代理ip
06-12
通过Java网络爬虫爬取指定代理ip网上的ip，利用了jsoup、httpclient技术实现
java爬虫，利用代理IP爬取大众点评网站内容.zip
03-08
反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等...
java多线程代理IP池
11-30
多线程代理IP池，一直看到有关这方面的技术，最近实现了一个。简单的来说，启动后，会一直定时的获取代理ip，并自动检测代理ip的活跃度。运用多线程的技术，在极短的时间内获取大量的ip进行筛选。架构也比较清楚，...
java实现免费代理IP的获取方式 并实时校验代理IP是否有效
09-30
Java 实现免费代理IP的获取方式 并动态实时校验是否有效，java文件项目内含有Jsoup的Jar包（Jsoup是加工过的，含请求），有2个主入口程序： 其一：用于请求代理IP，并立即校验是否是一个有效的代理IP，如果有效，保存到相应的文件中。。。 其二：对已下载到本地的代理IP进行再筛选，对失效的代理IP进行处理，对任然有效的ip进行保存 结语：如果对你有帮助，请为我评论点赞
ProxyServer:Java版本的代理服务器，目前只支持http协议代理，本项目可以自动随机切换代理ip。感谢原作者提供源码：https
03-23
Java版本的代理服务器，目前只支持HTTP协议代理，本项目可以自动随机切换代理ip。感谢：
Jsoup 网络爬虫（动态ip代理，突破ip访问次数限制） 爬取全国各省市区数据
08-08
Jsoup实现省市区的爬取，突破ip的访问限制，实现动态ip代理，爬取最新的省市区信息
java爬虫如何使用代理
weixin_44617651的博客
05-12 980
在Java程序中使用代理是爬取网站数据的常见技术之一。代理服务器允许你通过它来访问某个网站，从而让你可以隐藏自己的真实IP地址或者规避一些地理限制等问题。
java代理实现爬取代理IP
KelvinLiu
04-22 1万+
使用java编写的，获取代理IP的java类，依赖很简单，就是jsoup和fastjson，直接运行main方法即可，易于嵌套到项目中使用
Java网络爬虫（七）--实现定时爬取与IP代理池
热门推荐
Paranoid
04-27 2万+
注：对代码及思路进行了改进—Java网络爬虫（十一）–重构定时爬取以及IP代理池（多线程+Redis+代码优化） 定点爬取 当我们需要对金融行业的股票信息进行爬取的时候，由于股票的价格是一直在变化的，我们不可能手动的去每天定时定点的运行程序，这个时候我们就需要实现定点爬取了，我们引入第三方库quartz的使用： package timeutils; import org.quart
java 代理ip抓取网站数据
期待王教授
02-02 3832
直接上代码    1.如何获取代理ip package com.aopa.test; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import java.util.ArrayList; import java.util.List; import java.util.regex.Matcher; import java.
java使用代理ip爬取网站内容
英俊帅比林的博客
01-06 1460
在一些有反爬虫技术的网站中，检测到同一ip在短时间内多次访问的时候，可能就会禁掉这个ip。 上有政策，下有对策，为了应对这种情况，可以使用多个代理ip去爬取这个网站。 java使用代理ip有两种方法： 1.设置System系统属性 // 设置代理IP System.getProperties().setProperty(&amp;amp;quot;proxySet&amp;amp;quot;, &amp;amp;quot;true&amp;amp;quot;);
JAVA selenium 设置ip代理池 webmagic爬取网页数据
04-04
JAVA selenium 设置ip代理池： 1. 首先需要下载selenium webdriver，可以在官网下载，或者使用maven仓库下载。 2. 下载好webdriver后，需要下载对应浏览器的driver，比如Chrome浏览器需要下载chromedriver。 3. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值