html页面相似度,simHtml包用于计算Web页面相似度，用于web爬虫等

# simHtml

## 介绍

simHtml包提供了一些用于计算Web页面相似度的函数

## 安装

快速安装:

go get -u github.com/cckuailong/simHtml

## 原理

### 网页结构相似度

使用序列比较方法(最长公共子序列)来计算dom树的相似度。

### 元素类型相似度

计算class 和 style的相似度。

### 整合 网页结构相似度 和 元素类型相似度

整合算法：

k * structural_similarity(document_1, document_2) + (1 - k) * style_similarity(document_1, document_2)

相似度取值在0-1之间

### k取值建议

使用 `k=0.3` 可以获得更好的结果。 元素类型相似度 包含的信息更多，更精确。

## 函数

- GetSimFromFile(file1, file2 string) float64

```

In [1]: 1.html's content is

'''

First Document

• Documents
• Extra

'''

In [2]: 2.html's content is

'''

Second document Document

• Extra Documents

'''

In [3] import "github.com/cckuailong/simHtml/simHtml"

In [4]: simHtml.GetSimRate("./1.html", "./2.html")

Out[4]: 0.9727272727272727

```

- GetSimFromStr(str1, str2 string) float64

- GetSimFromUrl(url1, url2 string) float64

有疑问加站长微信联系(非本文作者)