- 博客(7)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 java爬虫(jsoup)如何设置http代理ip爬数据
做java好长时间了,一直没时间,也没心情写笔记。今天空下来认真写一篇,以后也坚持记录下点滴,好好学习。最近由于项目需要,转战挖掘数据的领域,说实话,一开始没接触过,所以踩的坑会比较多,不过没见过猪跑,还没吃过猪肉吗。所以也就慢慢的摸索过来了。下面有几个大坑爬数据的人应该都得经历过,所以我把自己的经验记录下,方便自己跟大家吧。 现在爬数据越来越难,各种反爬,简单的网站没做什么...
2018-07-04 15:51:46
138892
7
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
转载 (搬过来的 不一定正确)SSM三大框架整合详细教程(Spring+SpringMVC+MyBatis)
使用SSM(Spring、SpringMVC和Mybatis)已经有三个多月了,项目在技术上已经没有什么难点了,基于现有的技术就可以实现想要的功能,当然肯定有很多可以改进的地方。之前没有记录SSM整合的过程,这次刚刚好基于自己的一个小项目重新搭建了一次,而且比项目搭建的要更好一些。以前解决问题的过程和方法并没有及时记录,以后在自己的小项目中遇到我再整理分享一下。这次,先说说三大框架整合过程。个人认
2017-01-06 15:01:21
124406
原创 爬虫项目选择隧道代理ip
时隔三年,再次需要使用代理,才发现三年的时间沧海桑田,当时的代理产品已经仅剩无几了。。又是一番新的调研和测试。目前市面上常见的有两类:一类是转发服务(动态转发,隧道等等不同命名方式),只需要挂上一个固定的服务器地址作为代理,商家会自动切换不同的代理来为我们转发请求,有允许手动操作是否更换代理的,也有强制必须每次请求都更换的,一般根据请求数并发限制或者切换间隔时间来收取不同的费用。这个还是比较适...
2022-03-24 20:32:18
525
原创 nodeJs爬虫如何设置动态代理IP
设置动态 IP 需要用到一个 superagent 插件—superagent-proxy,除此之外为了避免每次爬取时都去获取一次动态 IP 的列表,我将爬取到的动态 IP 列表存放在 redis 中,并设置 10 分钟的过期时间。数据过期之后再重新发送获取动态 IP 的请求。这里我使用的动态 IP 是蘑菇代理。动态 userAgent这是我收集到的常...
2018-07-06 17:57:00
2764
转载 spring 整合 redis,以及spring的RedisTemplate如何使用
需要的jar包 spring-data-redis-1.6.2.RELEASE.jar jedis-2.7.2.jar(依赖 commons-pool2-2.3.jar) commons-pool2-2.3.jarspring-redis.xml 配置文件<beans xmlns="http://www.springframework.org/schema/beans" xmlns:...
2018-07-05 15:54:32
59938
原创 java爬虫(jsoup)如何设置HTTP代理ip爬数据
现在爬数据越来越难,各种反爬,简单的网站没做什么反爬,就随便介绍下:1.随便找点网站弄点免费的http代理ip,去爬一下,太简单就不介绍了,目前最好用的代理ip是蘑菇代理具体说下,稍微有点爬虫技术含量的吧,怎么样伪装自己的爬虫程序,尽量避免反爬:1.请求头的user-agent参数必不可少,而且!!!!要随机,这里是大坑,我之前就是没有随机,然后爬...
2018-07-05 10:42:00
5187
原创 作为一位爬虫,说说代理IP哪家强?
做为一个苦逼的爬虫,之前除了应付现在越来越高级的反爬之外,还顺便淌了无数代理ip的坑。。不得不说这个行业真的是一团乱,想找一家靠谱的真的不容易!而且这行业内斗特别厉害,不是你怼他,就是他怼你!服务器时不时的崩溃,搞的用户也很崩溃。。我就说说我用过的这几家吧!1. 蘑菇代理moguproxy.com先说我现在在用的这家,这家是我们py交流群里面的一个群友给我...
2018-01-24 15:02:00
2193
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人