网页主要由网页DOM结构、网页内容文本、网页引用资源三部分构成,通过分析这三部分,来发现相同网页或相似网页。
(1)网页DOM结构:标签种类、标签数量;
(2)网页内容文本:网页元数据、标题、长文本、短文本、主题词、前50个词频;
(3)网页引用资源:外连样式、外连脚本、图片、文档。
主要研究的对象包含,分析方法包括数据提取、内容比对、数据存储、数据检索,具体提问为:
1、以上三部分具体🈶️哪些模块构成,针对这三部分,如何提取网页中各个对象数据?
2、对于提取的数据,该如何存储,而且适合快速分析,特别是大规模存储,该使用什么方法?
3、分析的方法具体有哪些,哪种性能更好,大规模使用更合适?
4、界面该展示哪些数据,具体又该如何展示?
5、主要分析的流程和步骤有哪些?是否能抽离为通用的对象?
基于网页颜色的相似度对比,提取网页的内嵌样式中的颜色词,特别是body、div标签中的样式名称,找到其所对应的css,提取颜色标签,根据body中div区块计算其所在的比例。例如body:100%,div1: 20%、div2: 60%、div3:20%等