- 博客(5)
- 收藏
- 关注
RSS订阅原创 linux上安装redis以及常用命令
获取redis资源 wget http://download.redis.io/releases/redis-4.0.8.tar.gz解压 tar xzvf redis-4.0.8.tar.gz安装 cd redis-4.0.8 make cd src make install PREFIX=/usr/local/redis移动配置文件到安装目录下 ...
2019-10-22 17:06:21
203
原创 java项目部署（谷歌、python）
项目要求，需要用java去网站爬取一些信息，结果信息加密，故用了python解密，在部署时遇到了不少坑，这里统一做一下部署记录（主要是部署谷歌和python），供以后查看。先查看glib版本ldd --versionjdk使用1.8版本查看版本yum -y list java1.8*安装jdk1.8yum install java-1.8.0-openjdk.x86_64...
2019-10-22 16:17:08
413
原创 java爬周边信息解决方案
日前用java爬虫去爬取某些地理信息周边信息的时候，发现大部分网站的周边信息都是预加载页面，用js去调API来实现，不同网站的具体实现方式还不同。所以我这边的解决方案为，先根据所搜目标的名称以及所在区域去调用百度API，获取经纬度，再根据经纬度去搜索周边信息，具体查看百度地图提供的公有API http://lbsyun.baidu.com/index.php?title=webapipack...
2019-10-17 17:36:21
381
原创 定时器策略修改（不需重启项目）
日前项目中遇到一个需求，需要客户能在项目运行中修改定时器的策略，而不用重启，就不能用@cron来制定定时器策略，这个需求还算比较常见，故记录下来，方便以后。先新建一个接口package com.jrzh.mvc.schedule;import java.util.concurrent.ScheduledFuture;import org.apache.commons.lang3.Str...
2019-10-17 17:07:14
594
原创 java爬虫遇到封IP问题
近期做java爬虫，爬某房产网站的时候，该网站对IP监测非常敏感，故需要对应的解决方案，且被封后不是405页面，而是一个纯白的空页面，所以爬下来的document是空的，在解析的时候才报错。解决方案是去西刺代理爬取IP，对IP进行筛选，筛选出可用的IP，放进redis做一IP池，在爬取页面的时候，遇到解析报错时，进行更换IP操作，再爬一次document，反复几次，连续报错就continue掉，...
2019-10-11 20:04:42
1735
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人