2010年01月_kivcare

转载 http通信过程简介

//z转载HTTP(HyperText Transfer Protocol)是一套计算机通过网络进行通信的规则。计算机专家设计出HTTP，使HTTP客户（如Web浏览器）能够从HTTP服务器(Web服务器)请求信息和服务，HTTP目前协议的版本是1.1.HTTP是一种无状态的协议，无状态是指Web浏览器和Web服务器之间不需要建立持久的连接，这意味着当一个客户端向服务器端发出请求，然后Web服

2010-01-22 10:38:00 2877 1

转载关于实现条件condition-get

先普及一下什么是条件GET，以下摘自>: Java代码条件HTTP GET（conditional HTTP GET）既能几声服务器带宽，又能节省客户端带宽，作用是避免服务器重复向一个客户端发送相同的表示。它是通过两个响应报头（Last-Modified和ETag）和两个请求报头（IfModified-Since和If-None-Matc

2010-01-19 16:16:00 1374

转载从一个男人关注的事情上可以看出他的修养和抱负

很喜欢这个标题，所以转了。整天关注娱乐版的男人，你指望它有什么成就么？有些还没做到，勉励自己。一、拥有自信和风度男人到了二十几岁后，就要开始学着用心去经营自己了，它体现在自己的思想与涵养上。自信是一个男人最重要的品质，自信的男人就你像一只在暴风雨中战斗的海鸥。海鸥所要说的只有一句话“让暴风雨来的再猛烈些吧”，只因为它无所畏惧。一个自信的男人，总是能够感染别人，无论这些人是朋友还是敌人

2010-01-14 00:53:00 586

原创 heritrix的主要功能模块

1、Frontier（链接工厂）是Heritrix最核心的部分，有三个核心的方法：next，schedule，finished，其原型及作用如下： a) 程提供一个链接.Heritrix的所有处理线程(ToeThread)都是通过调用该方法获取链接的 b) schedule(CandidateURI caURI):调度待处理的链接 c) finished(CrawlURI cURI):

2010-01-13 10:17:00 981

原创 Eclipse下配置Heritrix_1.14.3

一开发环境及资源eclipse-SDK-3.4.1-win32jdk1.6.0_02Heritrix_1.14.3.zip (zip包）Heritrix_1.14.3.src.zip （src包) 二、1 在Eclipse下新建Java项目，取名Heritrix.1.14.3；　　 2 复制SRC包下面src/java文件夹下org和st两个文件夹

2010-01-12 11:49:00 609

转载 Heritrix学习总结

//-------转载-------------------------- 1 下载和解压从http://crawler.archive.org/下载解压到本地 E:/heritrix-1.14.3 2 配置环境变量 HERITRIX_HOME=E:/heritrix-1.14.3 path后追加 ;%HERITRIX_HOME%/bin 3 配置 heritrix 拷贝E:/h

2010-01-08 10:52:00 739

原创 Heritrix安装及启动

刚接触Heritrix，感觉安装和启动没有想象的那么复杂，下面是安装步骤的简单说明 1.从Heritrix官方网站下载Heritrix-1.14.3，解压到任意文件目录下（本机存在C:/下） 2.配置系统变量; HERITRIX_HOME=C:/heritrix-1.14.3在path路径里加上;%HERITRIX_HOME%/bin 3.设置账号信息和权

2010-01-08 10:06:00 952

kivcare的专栏