在Boost搜索引擎项目介绍时,我们就简单提到,因为Boost官方网站不具备搜索功能,我们就借此实现搜索引擎项目,该项目的数据来源是Boost官方文档中的(.html)网页文件。
下图对应的网页链接
红色框中,就包含我们要的网页文件,将他上传到我们的服务器,这里我用的是Xshell,具体情况以你们那里为准。
Boost官方文档的下载与上传:
上传文件
下载成功之后,在终端输入以下命令,将下载好的文档进行上传。
rz -E
选中你要上传的文件,进行上传。上传后会有对应的压缩文件。
执行下列命令解压文件
tar -xzvf boost_1_85_0.tar.gz
将上传文件解压后,就生成了对应的目录。
我们要的网页文件数据就在 booost_1_85_0 / doc / html目录下,我们只需要将,该目录下的所有文件拷贝到我们项目所在路径下,作为数据源,进行接下来一步的解析(.html)网页文件。
网页数据我们就已经搞到手了,接下来就是对网页文件 标题,内容,url网址的提取。文件摘要是在文件内容中以,文件关键词进行相关的提取。