RSS订阅原创 java实现网络爬虫之链接初筛选策略
java实现网络爬虫之链接初筛选策略Web链接信息虽然很多，但是仔细分析其中结构，会发现其存在一定的规律性，为了对爬虫链接进行初步筛选，需要对链接进行分析。URL的组成为：http://:/?;host表示的是主机的名字（IP或域名），是端口号，表示是站内结构； 对Web结构进行分析： 页面之间的链接可以分为五种类型： Downwar
2016-08-31 22:33:27
1972
原创 JAVA数据结构之集合
JAVA数据结构之集合1、集合概述java语法中的集合，又称为容器，它是一个对象，专门用来管理一组其他对象。集合可以用来存储、检索、操作和统计一组其他对象。在集合内的对象称之为元素。在javaSE API中的java.util包中专门设计了一组接口和类，来实现各种各样的对象存储结构，这样的一组接口和类的设计结构被称为JAVA集合框架。集合的主要接口和常用的实现类的层次结构如下图所示：
2016-08-30 21:06:57
791
原创 Java数据结构之二叉搜索树
Java数据结构之二叉搜索树1、二叉搜索树组成二叉搜索树又称为二叉排序树，它或者是一颗空树，或者是一颗具有如下特性的非空二叉树，需要满足一下三个条件：（1）若它的左子树非空，则左子树上所有结点的关键字均小于根结点的关键字；（2）若它的右子树非空，则右子树上所有结点的关键字均大于（可以等于）根结点的关键字。（3）左子树右子树本身又各是一颗二叉搜索树 在算法描述中，均以结点值的
2016-08-30 18:56:19
1471
原创 java数据结构之图（邻接矩阵和邻接表）
JAVA数据结构之图1、图的介绍和原理1.1、图的基本概念图是由顶点集（VertexSet）和边集（EdgeSet）组成，针对图G，顶点集和边集分别记为V(G)和E(G)。依据图的边集是否为有向，可把图分为有向图和无向图，根据图是否有权重，可以分为有权图和无权图。图的基本术语：1：邻接点----在一个无向图中，若存在一条边（Vi，Vj），则称Vi，Vj为此边的两个端点，并称它们
2016-08-16 13:02:21
27175
8
原创 网页爬虫之布隆滤波原理及java实现
前续：网页上已经有很多布隆过滤器很全的资料了，由于博主最近在做网页爬虫，遇到url防重问题，所以认真分析了布隆滤波器原理，也参考了相关博文。旨在给出不同人对其不同的理解，好给大家更全面的参考。1、布隆过滤器原理布隆过滤器=位图+哈希。一个空的布隆过滤器是一个m位的位图，所以位值开始均为0，定义k个不同的符合均匀随机分布的哈希函数，每个函数把集合元素映射到位图m位中的某一位。插入时，先把这个
2016-08-04 21:39:29
805