java使用代理ip爬取网站内容

最新推荐文章于 2021-06-03 16:49:30 发布
最新推荐文章于 2021-06-03 16:49:30 发布
阅读量1.4k 收藏 6
点赞数 2
分类专栏： Java JavaWeb 文章标签： java爬虫 代理ip
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37856300/article/details/85930459
版权
面对反爬虫技术，当同一IP频繁访问被禁时，可使用代理IP。Java实现这一策略有两种方式：一是设置System系统属性，二是利用java.net.Proxy类进行配置。
摘要由CSDN通过智能技术生成

在一些有反爬虫技术的网站中，检测到同一ip在短时间内多次访问的时候，可能就会禁掉这个ip。

上有政策，下有对策，为了应对这种情况，可以使用多个代理ip去爬取这个网站。

java使用代理ip有两种方法：

1.设置System系统属性

// 设置代理IP  
System.getProperties().setProperty("proxySet", "true");       
System.getProperties().setProperty("http.proxyHost", "218.26.204.66");  
System.getProperties().setProperty("http.proxyPor
最低0.47元/天 解锁文章
英俊帅比林
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java爬虫(jsoup)如何设置http代理ip爬数据
qq_36980713的博客
07-04 13万+
        做java好长时间了，一直没时间，也没心情写笔记。今天空下来认真写一篇，以后也坚持记录下点滴，好好学习。最近由于项目需要，转战挖掘数据的领域，说实话，一开始没接触过，所以踩的坑会比较多，不过没见过猪跑，还没吃过猪肉吗。所以也就慢慢的摸索过来了。下面有几个大坑爬数据的人应该都得经历过，所以我把自己的经验记录下，方便自己跟大家吧。    现在爬数据越来越难，各种反爬，简单的网站没做什么...
java爬虫(jsoup)如何设置HTTP代理ip爬数据
qq_36980713的博客
07-05 5176
现在爬数据越来越难，各种反爬，简单的网站没做什么反爬，就随便介绍下： 1.随便找点网站弄点免费的http代理ip，去爬一下，太简单就不介绍了，目前最好用的代理ip是蘑菇代理 具体说下，稍微有点爬虫技术含量的吧，怎么样伪装自己的爬虫程序，尽量避免反爬： 1.请求头的user-agent参数必不可少，而且！！！！要随机，这里是大坑，我之前就是没有随机，然后爬...
Java网络爬虫抓取代理ip
06-12
通过Java网络爬虫爬取指定代理ip网上的ip，利用了jsoup、httpclient技术实现
Java网络爬虫（七）--实现定时爬取与IP代理池
Paranoid
04-27 2万+
注：对代码及思路进行了改进—Java网络爬虫（十一）–重构定时爬取以及IP代理池（多线程+Redis+代码优化） 定点爬取 当我们需要对金融行业的股票信息进行爬取的时候，由于股票的价格是一直在变化的，我们不可能手动的去每天定时定点的运行程序，这个时候我们就需要实现定点爬取了，我们引入第三方库quartz的使用： package timeutils; import org.quart
java利用Jsoup爬取网上免费代理IP，搭建自己的Ip池
热门推荐
wang_j1的博客
06-03 4万+
package com.example.demo.util; import com.beust.jcommander.internal.Lists; import org.apache.commons.collections.CollectionUtils; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements;.
爬虫-JAVA写的获取免费代理IP
无关痛痒
07-15 921
.自己分析了一下几个网站，总结研究了一下，稍有些小小的成果，与大家分享一下经验，互相学习学习。。。。 西刺代理 ：https://www.xicidaili.com/nn/1 快代理：https://www.kuaidaili.com/free/inha/1 西拉代理 IP：http://www.xiladaili.com/gaoni/1/ 极速代理IP：http://www.superf...
java爬虫，利用代理IP爬取大众点评网站内容.zip
最新发布
03-08
反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等...
java-爬取代理IP
07-19
本项目名为"java-爬取代理IP"，显然聚焦于使用Java编程语言编写爬虫程序，目标是获取代理IP地址并将其存储到数据库中，以便后续的项目能够便捷地利用这些代理IP资源。 首先，我们要理解什么是代理IP。代理IP，也叫...
Java采集最新动态代理IP
10-12
本文将深入探讨如何使用Java结合Jsoup库来实现代理IP的爬取，以突破IP访问限制，实现动态IP代理。 首先，让我们了解什么是Java爬虫。Java爬虫是使用Java语言编写的一种程序，它能够自动地遍历互联网上的网页，抓取...
Jsoup 网络爬虫（动态ip代理，突破ip访问次数限制） 爬取全国各省市区数据
08-08
Jsoup实现省市区的爬取，突破ip的访问限制，实现动态ip代理，爬取最新的省市区信息
JAVA使用爬虫抓取网站网页内容的方法
09-03
6. **反反爬策略**：有些网站会设置验证码、IP限制等反爬措施，可能需要采用代理IP、动态UA等方式应对。 总的来说，Java实现爬虫主要涉及网络请求和HTML解析两个方面，选择合适的库和策略可以提高爬虫的效率和成功...
java网络爬虫-通过登陆网站携带COOKIE信息爬取网站数据
11-04
同时，为了提高效率和避免封IP，还需要考虑使用代理IP池，设置请求间隔，以及错误重试机制等。 总的来说，这个项目涉及了Java网络编程、HTTP请求、登录处理、COOKIE管理、HTML解析以及数据库操作等多个方面，这些都...
java爬取携程酒店评价信息
11-05
对于IP限制，可以通过代理IP池来更换IP；User-Agent则需要定期更新，模拟多种浏览器类型。 5. **数据存储**：抓取到的评价信息需要存储起来，以便后续分析。可以选择数据库（如MySQL、MongoDB）或文件系统（如CSV、...
知乎爬虫(知乎网站爬取工具,爬取知乎网页内容)
01-08
在爬取过程中，为了防止IP被封禁，爬虫可能实现了反反爬策略，例如设置延时、随机User-Agent、代理IP轮换等。同时，尊重网站的robots.txt协议，避免抓取禁止爬取的部分，是合法和道德的爬虫行为。 关于【标签】中的...
Java：爬取代理ip，并使用代理IP刷uv
啥也不会的博客
06-26 2466
前言 很多网站对访问量的判断并不严格，只要页面被点击即视为有效访问，但是应该现在反爬虫越来越严格，为防止部分网站会对IP进行拉黑，所以这里写一个小程序爬取代理IP，并使用代理IP刷访问量。原本想把代理IP包装成一个bean类，但是发现爬下来的代理IP都不需要用户名和密码，那就只要ip和端口就行了，索性实现得简单点，只关心ip和端口好了。 模块组织 FileUtil：用于提供爬取到的IP和url的写入、读取接口。 CheckUtil：用于校验爬取到的IP是否可用。 SpiderUtil：爬虫动作的主
java爬虫遇到封IP问题
Edwin__的博客
10-11 1694
近期做java爬虫，爬某房产网站的时候，该网站对IP监测非常敏感，故需要对应的解决方案，且被封后不是405页面，而是一个纯白的空页面，所以爬下来的document是空的，在解析的时候才报错。 解决方案是去西刺代理爬取IP，对IP进行筛选，筛选出可用的IP，放进redis做一IP池，在爬取页面的时候，遇到解析报错时，进行更换IP操作，再爬一次document，反复几次，连续报错就continue掉，...
nginx lua redis java_Nginx 通过 Lua + Redis 实现动态封禁 IP
weixin_36454202的博客
03-02 272
背景为了封禁某些爬虫或者恶意用户对服务器的请求，我们需要建立一个动态的 IP 黑名单。对于黑名单之内的 IP ，拒绝提供服务。架构实现 IP 黑名单的功能有很多途径：1、在操作系统层面，配置 iptables，拒绝指定 IP 的网络请求；2、在 Web Server 层面，通过 Nginx 自身的 deny 选项 或者 lua 插件 配置 IP 黑名单；3、在应用层面，在请求服务之前检查一遍客户端...
怎么才能隐藏的IP？打造超强IP池项目，让你自己都忘记原本的IP
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
08-15 286
前言 随着大型网站反扒机制的增强，更改IP登陆已经成为一种最高效的方式，为此打造一款超强IP池项目，采用最新最快的Python技术——异步（Async ）。编写了一个免费的异步爬虫代理池，以 Python asyncio 为基础，充分利用 Python 的异步性能，异步处理比同步处理能提升成百上千倍的效率，速度堪比GO语言。 项目介绍 本项目通过爬虫抓取互联网上免费代理网站的IP，并且进行异步检测是否可用，如果可用就放入数据库。定时对数据库中的代理进行维护，然后通过web api的形式供外部.
JAVA selenium 设置ip代理池 webmagic爬取网页数据
04-04
JAVA selenium 设置ip代理池： 1. 首先需要下载selenium webdriver，可以在官网下载，或者使用maven仓库下载。 2. 下载好webdriver后，需要下载对应浏览器的driver，比如Chrome浏览器需要下载chromedriver。 3. 在代码中设置代理池，可以使用第三方库ProxyPool，具体使用方法可以参考官方文档。 4. 在使用selenium webdriver时，需要设置代理，可以通过以下代码实现： ```java ChromeOptions options = new ChromeOptions(); options.addArguments("--proxy-server=http://ip:port"); WebDriver driver = new ChromeDriver(options); ``` 其中，ip和port需要替换成代理池中的ip和端口。 webmagic爬取网页数据： 1. 首先需要下载webmagic库，可以在maven仓库中下载。 2. 创建一个Java类，并继承PageProcessor类，实现其中的方法，如下所示： ```java public class ExamplePageProcessor implements PageProcessor { private Site site = Site.me().setRetryTimes(3).setSleepTime(1000); @Override public void process(Page page) { // 解析页面数据 page.putField("title", page.getHtml().xpath("//title").toString()); page.putField("content", page.getHtml().xpath("//div[@class='content']").toString()); // 添加要爬取的url page.addTargetRequests(page.getHtml().links().regex("(https://www\\.example\\.com/[\\w\\-]+)").all()); } @Override public Site getSite() { return site; } } ``` 3. 在main方法中，创建一个Spider对象，并设置要爬取的url和PageProcessor，如下所示： ```java public static void main(String[] args) { Spider.create(new ExamplePageProcessor()) .addUrl("https://www.example.com") .run(); } ``` 4. 运行程序，爬取数据。数据会保存在Page对象中，可以通过page.putField()方法保存。可以通过page.getTargetRequests()方法获取要爬取的url，可以通过page.getResultItems()方法获取保存的数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值