搜索
谱写
生活不是等待风暴过去,而是学会在雨中翩翩起舞~
兴
展开
-
dySE:一个 Java 搜索引擎的实现,第 1 部分 网络爬虫
自己动手写一个搜索引擎,想想这有多 cool:在界面上输入关键词,点击搜索,得到自己想要的结果;那么它还可以做什么呢?也许是自己的网站需要一个站内搜索功能,抑或是对于硬盘中文档的搜索 —— 最重要的是,是不是觉得众多 IT 公司都在向你招手呢?如果你心动了,那么,Let's Go! 这里首先要说明使用 Java 语言而不是 C/C++ 等其它语言的原因,因为 Java 中提供了对于网络编程众原创 2017-06-22 10:12:09 · 660 阅读 · 0 评论 -
dySE:一个 Java 搜索引擎的实现,第 2 部分 网页预处理
在 上一部分 中,您了解到如何编写一个 spider 程序来进行网页的爬取,作为 spider 的爬取结果,我们获得了一个按照一定格式存储的原始网页库,原始网页库也是我们第二部分网页预处理的数据基础。网页预处理的主要目标是将原始网页通过一步步的数据处理变成可方便搜索的数据形式。下面就让我们逐步介绍网页预处理的设计和实现。 预处理模块的整体结构 预处理模块的整体结构如下: 图原创 2017-06-22 10:14:30 · 538 阅读 · 0 评论 -
dySE:一个 Java 搜索引擎的实现,第 3 部分 查询服务
dySE:一个 Java 搜索引擎的实现,第三部分:查询服务 在之前的两个部分中,您了解到 spider 的编写和对原始网页库的预处理:通过 spider 我们得到一个原始网页库,而通过预处理部分建立网页的索引,并用分词器对网页进行分词进而创建倒排索引。本部分内容将要介绍查询服务的编写,查询服务通过接收用户的输入,调用后台程序对输入进行分词以及查询操作之后,将返回的查询结果在网页上显示。本文原创 2017-06-22 10:16:15 · 682 阅读 · 0 评论