- 博客(7)
- 收藏
- 关注
RSS订阅
原创 java爬虫(jsoup)如何设置http代理ip爬数据
做java好长时间了，一直没时间，也没心情写笔记。今天空下来认真写一篇，以后也坚持记录下点滴，好好学习。最近由于项目需要，转战挖掘数据的领域，说实话，一开始没接触过，所以踩的坑会比较多，不过没见过猪跑，还没吃过猪肉吗。所以也就慢慢的摸索过来了。下面有几个大坑爬数据的人应该都得经历过，所以我把自己的经验记录下，方便自己跟大家吧。 现在爬数据越来越难，各种反爬，简单的网站没做什么...
2018-07-04 15:51:46
138892
7
转载 (搬过来的 不一定正确)SSM三大框架整合详细教程（Spring+SpringMVC+MyBatis）
使用SSM（Spring、SpringMVC和Mybatis）已经有三个多月了，项目在技术上已经没有什么难点了，基于现有的技术就可以实现想要的功能，当然肯定有很多可以改进的地方。之前没有记录SSM整合的过程，这次刚刚好基于自己的一个小项目重新搭建了一次，而且比项目搭建的要更好一些。以前解决问题的过程和方法并没有及时记录，以后在自己的小项目中遇到我再整理分享一下。这次，先说说三大框架整合过程。个人认
2017-01-06 15:01:21
124406
原创 爬虫项目选择隧道代理ip
时隔三年，再次需要使用代理，才发现三年的时间沧海桑田，当时的代理产品已经仅剩无几了。。又是一番新的调研和测试。目前市面上常见的有两类：一类是转发服务(动态转发，隧道等等不同命名方式)，只需要挂上一个固定的服务器地址作为代理，商家会自动切换不同的代理来为我们转发请求，有允许手动操作是否更换代理的，也有强制必须每次请求都更换的，一般根据请求数并发限制或者切换间隔时间来收取不同的费用。这个还是比较适...
2022-03-24 20:32:18
525
原创 nodeJs爬虫如何设置动态代理IP
设置动态 IP 需要用到一个 superagent 插件—superagent-proxy，除此之外为了避免每次爬取时都去获取一次动态 IP 的列表，我将爬取到的动态 IP 列表存放在 redis 中，并设置 10 分钟的过期时间。数据过期之后再重新发送获取动态 IP 的请求。这里我使用的动态 IP 是蘑菇代理。动态 userAgent这是我收集到的常...
2018-07-06 17:57:00
2764
转载 spring 整合 redis，以及spring的RedisTemplate如何使用
需要的jar包 spring-data-redis-1.6.2.RELEASE.jar jedis-2.7.2.jar（依赖 commons-pool2-2.3.jar） commons-pool2-2.3.jarspring-redis.xml 配置文件<beans xmlns="http://www.springframework.org/schema/beans" xmlns:...
2018-07-05 15:54:32
59938
原创 java爬虫(jsoup)如何设置HTTP代理ip爬数据
现在爬数据越来越难，各种反爬，简单的网站没做什么反爬，就随便介绍下：1.随便找点网站弄点免费的http代理ip，去爬一下，太简单就不介绍了，目前最好用的代理ip是蘑菇代理具体说下，稍微有点爬虫技术含量的吧，怎么样伪装自己的爬虫程序，尽量避免反爬：1.请求头的user-agent参数必不可少，而且！！！！要随机，这里是大坑，我之前就是没有随机，然后爬...
2018-07-05 10:42:00
5187
原创 作为一位爬虫，说说代理IP哪家强？
做为一个苦逼的爬虫，之前除了应付现在越来越高级的反爬之外，还顺便淌了无数代理ip的坑。。不得不说这个行业真的是一团乱，想找一家靠谱的真的不容易！而且这行业内斗特别厉害，不是你怼他，就是他怼你！服务器时不时的崩溃，搞的用户也很崩溃。。我就说说我用过的这几家吧！1. 蘑菇代理moguproxy.com先说我现在在用的这家，这家是我们py交流群里面的一个群友给我...
2018-01-24 15:02:00
2193
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人