使用KNN算法破解字体反爬虫

尼古拉斯吴彦祖

已于 2024-09-16 21:48:39 修改

阅读量622

点赞数 5

文章标签：开发语言爬虫 python 机器学习算法

于 2024-09-16 21:43:16 首次发布

本文链接：https://blog.csdn.net/a2645099022/article/details/142307507

版权

使用KNN算法破解字体反爬虫

在网络爬虫的世界里，反爬虫技术层出不穷，其中一种常见的技术就是字体反爬虫。字体反爬虫通过自定义字体文件（如.woff或.ttf）来替换网页中的数字或文字，使得爬虫无法直接获取到正确的信息。本文将介绍如何使用K近邻算法（KNN）来破解这种字体反爬虫技术。

什么是字体反爬虫？

字体反爬虫是一种通过自定义字体文件来隐藏网页中真实信息的反爬虫技术。例如，网页中的数字“12345”可能会被替换为自定义字体中的“ABCDE”，而爬虫直接抓取到的内容是“ABCDE”，而不是真实的“12345”。为了获取到真实的信息，我们需要识别出这些自定义字体，并将其映射回真实的数字或文字。

KNN算法简介

K近邻算法（K-Nearest Neighbors, KNN）是一种简单且有效的分类算法。它的基本思想是：对于一个新的输入数据点，找到训练集中与它最接近的K个数据点，然后根据这K个数据点的类别来决定新数据点的类别。KNN算法的核心在于如何计算数据点之间的距离，常用的距离度量方法有欧氏距离、曼哈顿距离等。

使用KNN算法破解字体反爬虫

1. 数据准备

首先，我们需要准备训练数据和测试数据。训练数据是已知的字体文件及其对应的映射关系，测试数据是我们需要识别的字体文件。

train_font = 'path/to/train_font.woff'
distinguish_font = 'path/to/distinguish_font.woff'
data_annotations = {
    'glyph00001': '1',
    'glyph00002': '2',
    'glyph00003': '3',
    # ...
}

2. 解析字体文件

使用fontTools库解析字体文件，并提取出字体的轮廓信息。我们将这些信息存储在一个列表中，每个元素对应一个字符的轮廓信息。

def get_offset_font(filename):
    data = parse(filename)
    collection = data.documentElement
    labels = collection.getElementsByTagName("TTGlyph")
    data_list = []
    max_len = 0
    for label in labels:
        contour = label.getElementsByTagName("contour")
        offset = [[label.getAttribute("name"),
                   label.getAttribute("yMax"),
                   label.getAttribute("yMin"),
                   label.getAttribute("xMax"),
                   label.getAttribute("xMin")]]
        for item in contour:
            pt = item.getElementsByTagName("pt")
            for xy in pt:
                if xy.hasAttribute("y"):
                    offset.append(int(xy.getAttribute("y")))
                if xy.hasAttribute("x"):
                    offset.append(int(xy.getAttribute("x")))
        else:
            data_list.append(offset)
            max_len = max_len if max_len > len(offset) else len(offset)
    for i in range(len(data_list)):
        data_list[i] = data_list[i] + [0]*(max_len-len(data_list[i]))
    return data_list

3. 数据预处理

为了提高KNN算法的准确性，我们需要对数据进行归一化处理。这里我们使用arctan函数对数据进行归一化。

def normalize_data_z_score_arctan(dataset: list or np.ndarray):
    dataset = np.array(dataset)
    dataSet = np.arctan(dataset)*(2/np.pi)
    return dataSet

4. 训练KNN模型

使用训练数据训练KNN模型，并保存归一化后的数据和标签。

font_message = TTFont(train_font)
font_message.saveXML('font_train.xml')
data_train = get_offset_font('font_train.xml')
group = np.array(data_train,dtype=object)[:, 1:].tolist()
labels = get_label_font(np.array(data_train,dtype=object)[:, :1])
normalize_group = normalize_data_z_score_arctan(group)

5. 识别字体

使用训练好的KNN模型对测试字体进行识别，并返回映射表。

font_message = TTFont(distinguish_font)
font_message.saveXML('distinguish_font.xml')
data_list = get_offset_font('distinguish_font.xml')
group = np.array(data_list,dtype=object)[:, 1:].tolist()
data_labels = get_label_font(np.array(data_list,dtype=object)[:, :1])
index = 0
really_table = {}

for item in np.array(group,dtype=object).tolist():
    result = classify_knn(item, dataSet=normalize_group, labels=labels, k=3)
    really_table[data_labels[index]] = data_annotations[result]
    index += 1

return really_table