![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spider
若有所思HS
这个作者很懒,什么都没留下…
展开
-
Berkeley DB
Berkeley DB 是一个嵌入式数据库,它适合于管理海量的(256T)、简单的数据。BDB是以键值对(value/key)来存储和管理数据库的。键可以重复,数据值可以是任意类型的。BDB的底层是用B+树或者其他算法实现的。我用的jar包是B+树实现的版本。Berkeley DB是用Environment对象来管理数据库,一个Environment可以管理多个database。每个datab原创 2016-12-03 20:00:56 · 3900 阅读 · 0 评论 -
javaMD5
MD5是一种加密、压缩算法。在爬虫项目中奖URL压缩为128位的散列值。在Java 中,java.security.MessageDigest 中已经定义了MD5 的计算,只需要简单地调用即可得到MD5 的128 位整数。然后将此128 位(16 个字节)转换成十六进制表示即可。java代码实现:import java.math.BigInteger;import java.security.Me原创 2016-12-03 20:29:26 · 485 阅读 · 0 评论 -
JDBC基础
jdbc是一套java连接数据库的接口层,jdbc为java程序提供了连接各种数据库的统一的接口操作。JDBC在于实际数据库交互时需要加载相应数据库的驱动(数据库厂商提供)。具体操作如下3步:加载驱动、连接数据库 Class.forName(JDBC_DRIVER); connection=DriverManager.getConnection(DB_UTL,USER,PASSWO原创 2016-12-03 21:15:47 · 361 阅读 · 0 评论 -
BoolmFilter
布隆过滤器是一个判断集合中是否包含特定元素的算法。比如,判断一个英文单词是否在字典中(单词拼写检查);黑名单检查等。也常用在搜索引擎中。布隆过滤器由一个很长的二进制向量和一系列随机映射函数组成。提供插入但不提供删除,但有用计数器代替bit位的变体提供删除操作。以存储邮件地址为例: 假定存储一亿个电子邮件地址. 1. 先建立一个16 亿二进制常量,即两亿字节的向量,然后将这16 亿个二进制位全原创 2016-12-03 17:15:41 · 3484 阅读 · 0 评论