![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
搜索引擎/hadoop
文章平均质量分 63
rongrong0206
这个作者很懒,什么都没留下…
展开
-
Google Protocol Buffer
什么是 Google Protocol Buffer? 假如您在网上搜索,应该会得到类似这样的文字介绍:Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准,目前已经正在使用的有超过 48,162 种报文格式定义和超过 12,183 个 .proto 文件。他们用于 RPC 系统和持续数据存储系统。Protocol Buffers 是一种轻便高效的结构化数据存储格式,可以用于结构化数据串行化,或者说序列化。它很适合做数据存储或 RPC 数据交转载 2010-12-06 22:52:00 · 1147 阅读 · 0 评论 -
Nutch
简介Nutch 是一个基于 Java 实现的开源搜索引擎,其内部使用了高性能全文索引引擎工具 Lucene。从 nutch0.8.0开始,Nutch 完全构建在 Hadoop 分布式计算平台之上。Hadoop 除了是一个分布式文件系统外,还实现了 Google 的 GFS 和 MapReduce 算法。因此基于 Hadoop 的 Nutch 搜索引擎可以部署在由成千上万计算机组成的大型集群上。由于商业搜索引擎允许竞价排名,这样导致索引结果并不完全是和站点内容相关的,而 Nutch 搜索结果能够给出一个公平的原创 2010-12-06 22:47:00 · 1203 阅读 · 0 评论 -
Lucene实时索引构建
<br /> <br />Lucene可以增量的添加一个段,我们知道,倒排索引是有一定的格式的,而这个格式一旦写入是非常难以改变的,那么如何能够增量建索引呢?Lucene使用段这个概念解决了这个问题,对于每个已经生成的段,其倒排索引结构不会再改变,而增量添加的文档添加到新的段中,段之间在一定的时刻进行合并,从而形成新的倒排索引结构。<br /><br />然而也正因为Lucene的事务性,使得Lucene的索引不够实时,如果想Lucene实时,则必须新添加的文档后IndexWriter需要commit,在搜转载 2010-12-20 23:03:00 · 652 阅读 · 0 评论 -
考虑模拟浏览器的爬虫设计
<br />httpclient3 自动登陆淘宝, 开心网<br /><br />需要用到的java包 <br />commons-httpclient-3.1.jar <br />commons-logging.jar <br />log4j-1.2.15.jar <br />commons-codec.jar<br />登陆淘宝的例子:Java代码 package com.spider.cron; import java.io.IOException; import org.apache转载 2010-12-20 23:05:00 · 1188 阅读 · 0 评论 -
Nutch+HBase
<br />当我们为nutch的架构发愁的时候,nutch的开发人员送来了nutchbase。我一些简单的测试表明,在hadoop0.20.1和hbase0.20.2上,稍加修改可以运行起来。 <br />它的优点很明显:架构合理. <br /><br />开发者是这样说的,引用自jira <br />http://issues.apache.org/jira/browse/NUTCH-650 <br /><br /><br />A) Why integrate with hbase? <br /><br转载 2010-12-20 23:08:00 · 1024 阅读 · 0 评论 -
Nutch1
<br />nutch搏斗之一问题描述: <br />在用nutch1.0做generate 包括5亿url的crawldb时,它默认按照64M分块,分成777个map task,在运行的后期出现 <br />Could not find taskTracker/jobcache/job_200903231519_0017/attempt_200903231519_0017_r_000051_0/output/file.out in any of the configured local directori转载 2010-12-20 23:13:00 · 590 阅读 · 0 评论 -
爬虫-网页解析之webkit
1.http://www.blueidea.com/tech/program/2009/6571_2.asp2.http://blog.csdn.net/ciml/category/317893.aspx3.http://leopard168.blog.163.com/blog/static/168471844201072112642310/4.http://leopard168.blog.163.com/blog/#m=0&t=1&c=fks_0840670820800860710860820870950原创 2010-12-20 23:20:00 · 2706 阅读 · 0 评论