Boost搜索引擎数据的获取

        在Boost搜索引擎项目介绍时，我们就简单提到，因为Boost官方网站不具备搜索功能，我们就借此实现搜索引擎项目，该项目的数据来源是Boost官方文档中的(.html)网页文件。

        下图对应的网页链接

        红色框中，就包含我们要的网页文件，将他上传到我们的服务器，这里我用的是Xshell，具体情况以你们那里为准。

Boost官方文档的下载与上传：

 

上传文件

下载成功之后，在终端输入以下命令，将下载好的文档进行上传。

rz -E

 

 选中你要上传的文件，进行上传。上传后会有对应的压缩文件。

执行下列命令解压文件

tar -xzvf boost_1_85_0.tar.gz

将上传文件解压后，就生成了对应的目录。

 

我们要的网页文件数据就在 booost_1_85_0 / doc / html目录下，我们只需要将，该目录下的所有文件拷贝到我们项目所在路径下，作为数据源，进行接下来一步的解析（.html）网页文件。

 

        网页数据我们就已经搞到手了，接下来就是对网页文件 标题，内容，url网址的提取。文件摘要是在文件内容中以，文件关键词进行相关的提取。