MD5是一种加密、压缩算法。在爬虫项目中奖URL压缩为128位的散列值。在Java 中,java.security.MessageDigest 中已经定义了MD5 的计算,只需要简单地调用即可得到MD5 的128 位整数。然后将此128 位(16 个字节)转换成十六进制表示即可。
java代码实现:
import java.math.BigInteger;
import java.security.MessageDigest;
public class MD5 {
public static String getMD5(String source) {
// TODO Auto-generated method stub
String result=null;
try{
//获取摘要
MessageDigest md=MessageDigest.getInstance("MD5");
//更新摘要,参数为String转换成的byte数组
md.update(source.getBytes());
//用digest函数处理数据并返回密文结果,密文结果也是byte数组。
//用BigInteger转为16进制字符串,参数1表示正数,toString的参数表示转换后的进制
result= new BigInteger(1,md.digest()).toString(16);
}catch(Exception e){
e.printStackTrace();
}
return result;
}
}
参考文献:
自己动手写网络爬虫
java MD5工具类