java爬虫(jsoup)如何设置HTTP代理ip爬数据

最新推荐文章于 2024-09-27 16:34:25 发布

像少年一样飞驰啦

最新推荐文章于 2024-09-27 16:34:25 发布

阅读量5.2k

点赞数 1

本文链接：https://blog.csdn.net/qq_36980713/article/details/84868135

版权

本文介绍了在使用Java进行网络爬虫时如何设置HTTP代理IP以应对反爬策略。强调了随机User-Agent和伪装Referer的重要性，并提醒了免费代理IP的效率问题，建议使用付费代理以确保爬取速度和稳定性。同时，分享了一段可运行的源码示例。

摘要由CSDN通过智能技术生成

现在爬数据越来越难，各种反爬，简单的网站没做什么反爬，就随便介绍下：

1.随便找点网站弄点免费的http代理ip，去爬一下，太简单就不介绍了，目前最好用的代理ip是蘑菇代理

具体说下，稍微有点爬虫技术含量的吧，怎么样伪装自己的爬虫程序，尽量避免反爬：

1.请求头的user-agent参数必不可少，而且！！！！要随机，这里是大坑，我之前就是没有随机，然后爬了几天就被人反爬了，醉了，我当时还以为代理的问题，一直跟客服比比比比比，说他们代理被封了，后来才发现是我的请求头里面的user-agent被封了，然后心里愧疚的跟客服小姐姐抱歉了下。。。僵硬。 user-agent是浏览器的标识，所以越多越好，大量的随机，跟代理ip一样重要！我先提供一部分，也放不了这么多。

String[] ua = {"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:46.0) Gecko/20100101 Firefox/46.0",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.87 Safari/537.36 OPR/37.0.2178.32",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36",
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586",
        "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko",
        "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0)",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like G