张小虾-CSDN博客

原创 Guava Java大文件操作，快速实现，按行读取

使用Guava的Files工具类可以快速实现大文件的处理。按行读取demo Files.asCharSource(new File(path, "ip.txt"), Charset.defaultCharset()) .readLines(new LineProcessor<String>() { p...

2018-05-31 19:44:12 5619

原创 CryptoJS-AES 前端JS加密，JAVA解密

使用Google的前端加密套件CryptoJS实现基于AES前后端的加/解密交互。官方github地址：https://github.com/brix/crypto-js前端加密demo<script src="crypto-js-develop/src/core.js"></script><script src="crypto-js-develop/src/cip...

2018-05-31 19:31:54 4418 1

原创 squid多实例运行，多个代理转发

环境为centos7，squid的版本为3.5cp -p /etc/squid/squid.conf /etc/squid/squid-1.conf 修改squid-2.confhttp_port 6601cache_peer x.x.x.x parent 3128 6601 login=username:password defaultnever_direct allow allpid

2017-10-24 15:30:26 4173 1

原创用Java实现网易云音乐爬虫（非selenium）

代码地址：https://git.oschina.net/bobozhangyx/java-crawler/tree/master/music163主要内容：使用httpclient（非模拟浏览器）使用网易云音乐api采集：评论和用户最近听歌的统计思路：用一首歌的id作为入口，得到下面的所有评论 –> 取出用户id 通过用户id取出该用户最近听的歌 –> 得到歌的id

2017-09-18 21:30:17 2659

原创反-反爬虫

说明在实际项目中，能用httpclient处理的网页，我们都不会选择selenium或者类似的方案。由于反爬的技术升级，没有处理js能力的httpclient显得力不从心。在使用selenium的过程中，遇到很多问题： phantomjs不需要图形化，它很省资源，但开发调试难度相对较高，而且具有致命缺点（它的运行特征太多） firefox不够稳。爬虫本来意外就多，谁不想稳一点。

2017-09-18 00:03:51 1123

原创 Ubuntu 16.04和windows10下chromedriver的编译

Ubuntu 16.04和windows10下chromedriver的编译必须在64位系统下进行操作。下载过程需要翻墙。ubuntu 下的编译过程官方文档这个编译我是在国外的服务器上进行的，所以不存在无法访问google服务器的情况。编译环境 4核8g配置环境 depot_tools编译工具 git clone https://chromium.googlesource

2017-09-17 22:54:20 3044

原创网站反爬虫分析

网站反爬虫主要手段限制单一ip的访问量服务器端nginx统计ip的一段时间内的访问量（eg：一分钟），如果访问量大于阀值，该ip将被禁止访问服务。简单有效。可以通过代理ip解决该问题。User-Agent限制在使用httpclient等工具访问网站时，如果没有设置user-Agent值，httpclient将会使用默认的user-Agent值。没啥用。限制账户的访问量如果经常超过访

2017-09-15 14:52:00 1004

原创 java IDEA加密/解密源码

package tool;import org.apache.commons.codec.binary.Base64;import org.bouncycastle.jce.provider.BouncyCastleProvider;import javax.crypto.Cipher;import javax.crypto.KeyGenerator;import javax.cry

2016-08-19 00:35:12 6034 4

原创 Windos10安装Redis3.0 在java中通过Jedis使用Redis

Redis3.0.5 64位的下载地址：https://chocolatey.org/api/v2/package/redis-64/3.0.503下载的是一个*.unpkg文件，将后缀修改为zip（或者选择打开方式）。解压后如下图因为解压的文件太乱了，我们提取主要的文件重新建立一个文件夹接下来在系统的环境变量（path）中添加之前新建文件夹的路

2016-08-17 15:08:46 1559

原创 jfinal下配置druid数据库连接池

1.web.xml中添加 DruidWebStatFilter com.alibaba.druid.support.http.WebStatFilter exclusions *.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid/*

2016-08-16 19:15:32 12314 2

原创 FP-Growth 算法MapReduce 关联规则算法

FpTree.javapackage Test;import java.io.File;import java.io.IOException;import java.util.ArrayList;import java.util.Arrays;import java.util.Collections;import java.util.Comp

2016-08-16 19:04:17 1571

原创 CentOS7 mariaDB的安装

yum install mariadb mariadb-serversystemctl start mariadb.service #启动MariaDBsystemctl stop mariadb.service #停止MariaDBsystemctl restart mariadb.service #重启MariaDBsystemctl enable mariadb.se

2016-08-16 18:56:36 465

原创 mysql 5.7.11压缩版 +Navicat 安装

2016.5.22 mysql 5.7.11压缩版 navicat从官网下载mysql-5.7.xx-winx64.zip 我用的是目前最新的5.7.111.新建环境变量 MYSQL_HOME E:\mysql-5.7.11-winx64追加path %MYSQL_HOME%\bin2.因为5.7自动生成root密码然而这

2016-08-16 18:53:21 741

原创 CentOS 7 nginx php7 jdk1.8 tomcat8环境搭建

1.nginx安装编译环境：yum install gcc gcc-c++ autoconf -ynigix依赖：yum install openssl openssl-devel zlib zlib-devel libxml2 libxml2-devel pcre-devel -y出现openssl not used ，查询openssl的安装

2016-08-16 18:51:12 627

bobozhangyx的博客