字体反爬（一）

已于 2024-09-06 22:30:03 修改
阅读量1k 收藏 19
点赞数 17
文章标签： 爬虫 字体反爬
于 2024-09-06 22:29:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44744457/article/details/141969504
版权

网址

http://xxfb.mwr.cn/sq_djdh.html?v=1.0
获取相关数据

解决

  1. F12 先找接口吧， 搜索一下表格的数据
    在这里插入图片描述
    在这里插入图片描述
    直接从表格中复制
    复制过来乱码，基本锁定有字体反爬处理
    在这里插入图片描述
  2. 先点进去看看
{
           "addvnm": "#GkcERlldm4_1725629424756otltag㯼㢴#FontTag",
           "alertValue": 0.0,
           "bsnm": "#GkcERlldm4_1725629424756otltag㱬㯼#FontTag",
           "createTime": "2024-09-06 15:40:21",
           "idNo": "#GkcERlldm4_1725629424756otltag㝺㝸㝴#FontTag",
           "importantSection": "#GkcERlldm4_1725629424756otltag㣸#FontTag",
           "lgtd": "",
           "lttd": "",
           "rvnm": "#GkcERlldm4_1725629424756otltag㰬㯼#FontTag",
           "stType": "#GkcERlldm4_1725629424756otltag㞪㞜㞲㞘㞪#FontTag",
           "stnm": "#GkcERlldm4_1725629424756otltag㩘㲘#FontTag",
           "tm": "2024-09-06 08:00:00",
           "z": "#GkcERlldm4_1725629424756otltag㝶㝺.㝶㝶#FontTag"
       },

定位一下表格信息内容，源码有
在这里插入图片描述
字段能对上，说明接口是这个，

  1. 寻找字体文件
    在这里插入图片描述
    一般.ttf 或者woff 文件，再结合
<td class="hidden-m" align="center" width="13%" style="font-family:cfg_GkcERlldm4_1725629424756">㱬㯼</td>

GkcERlldm4_1725629424756 并且返回的数据也是带有GkcERlldm4_1725629424756
应该是这个ttf文件
刷新一次
在这里插入图片描述
发现文件名变化了， 而且能在network中观察到， ttf是后出现的
而ttf的文件名字就在返回数据中

#GkcERlldm4_1725629424756otltag㰬㯼#FontTag

所以要解码 㰬㯼 为正常的汉字

思路：

  1. 先根据数据接口拿到数据
  2. 从数据中提取ttf文件的名字
  3. 根据ttf文件名字从ttf文件接口中获取ttf文件并保存
  4. 对数据进行提取把多余部分去除
def extract_data(obj):
    new_obj = {}
    for key, value in obj.items():
        
        part1 = None
        if isinstance(value, str) and "#FontTag" in value:
            # 方法1: 通过字符串查找和切片提取
            start_tag = "#"
            middle_tag = "otltag"
            end_tag = "#FontTag"

            # 提取第一个部分（mPgcfp7TXR_1725546532529）
            start_idx = value.find(start_tag) + len(start_tag)
            middle_idx = value.find(middle_tag)
            part1 = value[start_idx:middle_idx]

            # 提取第二个部分（㸫㫣）
            middle_idx += len(middle_tag)
            end_idx = value.find(end_tag)
            part2 = value[middle_idx:end_idx]

            # 输出结果
            # print("Part 1:", part1)  # 输出 mPgcfp7TXR_1725546532529
            # print("Part 2:", part2)  # 输出 㸫㫣
            new_obj[key] = part2

        else:
            new_obj[key] = value
    return new_obj, part1




response = requests.get('http://xxfb.mwr.cn/OTMpfiwozTexvsf/OTMnprjsvUahsv', cookies=cookies, headers=headers, verify=False)
datas = json.loads(response.text)['result']
print("=======数据获取成功======")
# print(datas)
ttf_url = ""
newDatas = []
for i, data in enumerate(datas):
    # ttf_status = True
    data, ttf_url = extract_data(data)
    newDatas.append(data)
  1. 用FontCreator打开分析真正字符与Name之间的对应关系
    由于动态变化先记录下

㷼㶌 对应 淮河
在这里插入图片描述
在这里插入图片描述
淮的Name是glyph639
河的Name是glygh583

  1. 将字体文件转换为xml，分析uncode编码与Name之间的关系
from fontTools.ttLib import TTFont


def ttf_to_xml(ttf_file, xml_file):
    # 打开TTF文件
    font = TTFont(ttf_file)

    # 保存为XML文件
    font.saveXML(xml_file)
    print(f"TTF file '{ttf_file}' has been successfully converted to XML as '{xml_file}'.")


# 示例：将 'example.ttf' 转换为 'example.xml'
ttf_to_xml('./Temp/8UJgMNCr5u_1725630929271.ttf', './Temp/example.xml')

d
搜索cmap会发现

<map code="0x3900" name="glyph00001"/>

name和code有一个对应
我们找到glyph00639
在这里插入图片描述

<map code="0x3dfc" name="glyph00639"/><!-- CJK UNIFIED IDEOGRAPH-3DFC -->

在这里插入图片描述
0x3dfc -> 㷼
0x3dfc ->name : glyph00639 -> 淮

 <GlyphOrder>
    <!-- The 'id' attribute is only for humans; it is ignored when parsed. -->
    <GlyphID id="0" name="glyph00000"/>
    <GlyphID id="1" name="glyph00001"/>
    <GlyphID id="2" name="glyph00002"/>
    <GlyphID id="3" name="glyph00003"/>
    <GlyphID id="4" name="glyph00004"/>
    <GlyphID id="5" name="glyph00005"/>
    <GlyphID id="6" name="glyph00006"/>
    <GlyphID id="7" name="glyph00007"/>
    <GlyphID id="8" name="glyph00008"/>

id和name也有对应关系， 有时候会用到这里用不到

和前面记录的一致
所以大概就是
乱码的Unicode-----Unicode码------码对应的name----[name对应的id]
7. 建立乱码与真正字符之间的映射关系
包括：
乱码与Name
根据Name，绘图OCR识别，返回真正字符

所以要从ttf文件中提取两者之间的关系，

def get_char_list_from_ttf(font_file):
    """ 给定font_file,获取它的中文字符 """
    font = TTFont(font_file)
    res = []
    for cmap_table in font['cmap'].tables:
        # if cmap_table.platformID == 3:
            # print(f"Windows Platform, Encoding ID: {cmap_table.encodingID}")
            # 打印当前 cmap 表中的字符映射
        for unicode_val, glyph_name in cmap_table.cmap.items():
            char = chr(unicode_val)
            # print(f"Unicode: {hex(unicode_val)}, Character: {char}, Glyph: {glyph_name}")
            res.append([hex(unicode_val), char, glyph_name])

    return res

输出：[[‘0x42d0’, ‘䋐’, ‘glyph01117’],]

在这里插入图片描述
但是怎么映射为正常字符呢？
因为这里的unicode和并不是正常汉字一一对应，

渲染+OCR文字识别
参考博文 ttf解析
直接copy
功能是给定义一个
乱码的字符对应的glyphName和对应的ttf文件，返回绘制并OCR识别的文字字符

import ddddocr


from fontTools.ttLib.ttFont import TTFont
from fontTools.pens.svgPathPen import SVGPathPen
import matplotlib.pyplot as plt
import matplotlib.patches as patches
from matplotlib.path import Path
import matplotlib._color_data as mcd
def ttf_to_char(font_file, glyph_set_name="glyph00583", temp_png_path="./"):
    # %matplotlib inline
    #加载字体
    font = TTFont(font_file)
    #7.1 生成PNG图片
    #7.1.1 第一步提取绘制命令语句
    #获取包含字形名称和字形对象的--字形集对象glyphset
    glyphset = font.getGlyphSet()
    # print(glyphset.keys())
    #获取pen的基类
    pen = SVGPathPen(glyphset)

    #查找"马"的字形对象
    glyph = glyphset[glyph_set_name]
    #绘制"马"的字形对象
    glyph.draw(pen)
    #提取"马"的绘制语句
    commands = pen._commands
    # print(commands)
    total_commands = []
    command = []
    for i in commands:
        #每一个命令语句
        if  i == 'Z':
            #以闭合路径指令Z区分不同轮廓线
            command.append(i)
            total_commands.append(command)
            command = []
        else:
            command.append(i)
    #从'head'表中提取所有字形的边界框
    xMin = font['head'].xMin
    yMin = font['head'].yMin
    xMax = font['head'].xMax
    yMax = font['head'].yMax
    # print("所有字形的边界框: xMin = {}, xMax = {}, yMin = {}, yMax = {}".format(xMin, xMax, yMin, yMax))
    #所有字形的边界框: xMin = -12, xMax = 264, yMin = -47, yMax = 220
    preX = 0.0
    preY = 0.0
    #笔的起始位置
    startX = 0.0
    startY = 0.0
    #所有轮廓点
    total_verts = []
    #所有指令
    total_codes = []
    #转换命令
    for i in total_commands:
        #每一条轮廓线
        verts = []
        codes = []
        for command in i:
            #每一条轮廓线中的每一个命令
            code = command[0] #第一个字符是指令
            vert = command[1:].split(' ') #其余字符是坐标点，以空格分隔
            # M = 路径起始 - 参数 - 起始点坐标 (x y)+
            if code == 'M':
                codes.append(Path.MOVETO)  #转换指令
                verts.append((float(vert[0]), float(vert[1])))  #提取x和y坐标
                #保存笔的起始位置
                startX = float(vert[0])
                startY = float(vert[1])
                #保存笔的当前位置(由于是起笔，所以当前位置就是起始位置)
                preX = float(vert[0])
                preY = float(vert[1])
            # Q = 绘制二次贝塞尔曲线 - 参数 - 曲线控制点和终点坐标(x1 y1 x y)+
            elif code == 'Q':
                codes.append(Path.CURVE3)  #转换指令
                verts.append((float(vert[0]), float(vert[1]))) #提取曲线控制点坐标
                codes.append(Path.CURVE3) #转换指令
                verts.append((float(vert[2]), float(vert[3]))) #提取曲线终点坐标
                #保存笔的当前位置--曲线终点坐标x和y
                preX = float(vert[2])
                preY = float(vert[3])
            # C = 绘制三次贝塞尔曲线 - 参数 - 曲线控制点1，控制点2和终点坐标(x1 y1 x2 y2 x y)+
            elif code == 'C':
                codes.append(Path.CURVE4)  #转换指令
                verts.append((float(vert[0]), float(vert[1]))) #提取曲线控制点1坐标
                codes.append(Path.CURVE4) #转换指令
                verts.append((float(vert[2]), float(vert[3]))) #提取曲线控制点2坐标
                codes.append(Path.CURVE4) #转换指令
                verts.append((float(vert[4]), float(vert[5]))) #提取曲线终点坐标
                #保存笔的当前位置--曲线终点坐标x和y
                preX = float(vert[4])
                preY = float(vert[5])
            # L = 绘制直线 - 参数 - 直线终点(x, y)+
            elif code == 'L':
                codes.append(Path.LINETO)  #转换指令
                verts.append((float(vert[0]), float(vert[1]))) #提取直线终点坐标
                #保存笔的当前位置--直线终点坐标x和y
                preX = float(vert[0])
                preY = float(vert[1])
            # V = 绘制垂直线 - 参数 - 直线y坐标 (y)+
            elif code == 'V':
                #由于是垂直线，x坐标不变，提取y坐标
                x = preX
                y = float(vert[0])
                codes.append(Path.LINETO)  #转换指令
                verts.append((x, y)) #提取直线终点坐标
                #保存笔的当前位置--直线终点坐标x和y
                preX = x
                preY = y
            # H = 绘制水平线 - 参数 - 直线x坐标 (x)+
            elif code == 'H':
                #由于是水平线，y坐标不变，提取x坐标
                x = float(vert[0])
                y = preY
                codes.append(Path.LINETO)  #转换指令
                verts.append((x, y)) #提取直线终点坐标
                #保存笔的当前位置--直线终点坐标x和y
                preX = x
                preY = y
            # Z = 路径结束，无参数
            elif code == 'Z':
                codes.append(Path.CLOSEPOLY)  #转换指令
                verts.append((startX, startY)) #终点坐标就是路径起点坐标
                #保存笔的当前位置--起点坐标x和y
                preX = startX
                preY = startY
            #有一些语句指令为空，当作直线处理
            else:
                codes.append(Path.LINETO)  #转换指令
                verts.append((float(vert[0]), float(vert[1]))) #提取直线终点坐标
                #保存笔的当前位置--直线终点坐标x和y
                preX = float(vert[0])
                preY = float(vert[1])
        #整合所有指令和坐标
        total_verts.append(verts)
        total_codes.append(codes)
    color_list = list(mcd.CSS4_COLORS)
    #获取所有的轮廓坐标点
    total_x = []
    total_y = []
    for contour in total_verts:
        #每一条轮廓曲线
        x = []
        y = []
        for i in contour:
            #轮廓线上每一个点的坐标(x,y)
            x.append(i[0])
            y.append(i[1])
        total_x.append(x)
        total_y.append(y)
    #创建画布窗口
    fig, ax = plt.subplots()
    #按照'head'表中所有字形的边界框设定x和y轴上下限
    ax.set_xlim(xMin, xMax)
    ax.set_ylim(yMin, yMax)
    #设置画布1:1显示
    ax.set_aspect(1)
    #添加网格线
    # ax.grid(alpha=0.8,linestyle='--')
    #画图
    # print(f"{glyph_set_name}======绘制图片=======")
    for i in range(len(total_codes)):
        #(1)绘制轮廓线
        #定义路径
        path = Path(total_verts[i], total_codes[i])
        #创建形状，无填充，边缘线颜色为color_list中的颜色，边缘线宽度为2
        patch = patches.PathPatch(path, facecolor = 'none', edgecolor = color_list[i+10], lw=2)
        #将形状添到图中
        ax.add_patch(patch)
        #(2)绘制轮廓点--黑色,点大小为10
        # ax.scatter(total_x[i], total_y[i], color='black',s=10)
    #保存图片
    temp_path = f"{temp_png_path}/temp.png"
    plt.savefig(temp_path)
    # print(f"{glyph_set_name}======保存图片=======")

    with open(temp_path, "rb") as f:
        content = f.read()
    # print(f"{glyph_set_name}=====DdddOcr开始识别文字=======")
    dddd = ddddocr.DdddOcr(show_ad=False)
    text = dddd.classification(content)
    return text
最后

DdddOcr 用pyinstaller打包存在的问题解决方法：
存在的问题xxx.onnx 找不到
把ddddocr包下面的

common.onnx
common_old.onnx
common_det.onnx

复制到和要打包那个脚本统一目录下
在这里插入图片描述
在这之前先打包一次，生成.spec文件，
在修改

datas=[('./common.onnx','ddddocr'),('./common_old.onnx','ddddocr'), ('./common_det.onnx','ddddocr')],

在这里插入图片描述
最后删除build, dist文件夹
重新打包
命令

pyinstaller main.spec

就OK了

我用的anaconda, 如果需要打包最好新建一个虚拟环境，安装好项目对应的包

@Sats
关注
字体反爬，案例：以闪职网站为例
01-13
其中，字体反爬是一种常见的方法，它通过将网页中的文本内容替换为特殊的自定义字体，使得爬虫无法直接解析出原始文本。本案例以闪职网站为例，探讨如何应对这种反爬策略，帮助初学者理解并实施反爬解决方案。 首先...
猫眼电影字体反爬
12-22
猫眼电影字体反爬 我们再爬取猫眼电影的时候，会遇到如下情况： 我们想要其中想看人数的数据，但是在网页源代码中并不是直接显示数字而是这一串东西。 这一串，其实是猫眼本身的一种字体，目的是不想每个人都获取...
网页解析 lxml 库--实战
qiqi776532的博客
09-09 1452
本节课我们又学习了爬虫的一个新的网页解析库lxml，从网页中快速解析出想要的目标元素，熟练掌握解析库的使用技巧是必须的基础，爬虫的范围非常的广，爬虫的入门门槛很低，但是要修炼到更高的阶段，道路可不平坦，课程所限不能将爬虫的知识展开细讲，同学们有需要可以在拉拉老师的星球里和老师一起来研讨如何写出自己想要的爬虫。
【python】—— Python爬虫实战：爬取珠海市2011-2023年天气数据并保存为CSV文件
weixin_63106307的博客
09-05 1200
本文将介绍如何使用Python编写一个简单的爬虫程序，以爬取珠海市2011年至2023年的天气数据，并将这些数据保存为CSV文件。
【数据获取与读取】JSON & CSV
？的博客
09-09 655
获取数据-读取数据-评估数据-清洗数据-整理数据-分析数据-可视化数据。
基于大数据爬虫的高校网络舆情管控可视化大屏分析系统 8ov8c
QQ1304979694的博客
09-12 383
Django是一个开放源码的 Web架构，它是 Python开发的，它拥有完全的架子功能。大学期间的学习时光对于我来说是美好而短暂的，在这期间我也接触了许多可爱的大学同学们，以及兢兢业业教学的老师们，在我的毕业论文即将完成之际，我想对那些曾经给予我支持，帮助，还有鼓励的同学和老师以及家人们表达我内心的无比感激之情。
【爬虫软件】用python开发的youtube关键词搜索采集工具！
马哥小迷弟的博客
09-07 411
我用Python独立开发了一款爬虫软件，作用是：通过搜索关键词采集YouTube的搜索结果软件是通过调用谷歌官方API实现，并非通过网页爬虫，所以稳定性较高！开发成界面软件的目的：方便不懂编程代码的小白用户使用，无需安装python，无需改代码，双击打开即用！软件界面截图：爬取结果截图：软件使用演示视频：（不懂编程的小白直接看视频，了解软件作用即可，无需看代码）【软件演示】YouTube关键词搜索采集软件。
【Python爬虫系列】_016.关于登录和验证码
weixin_50296259的博客
09-10 951
首先查看登录时发送的请求中，请求头中cookie信息查找cookie信息的来源（通过哪个请求的响应携带回来的）这个案例中，登录请求的cookie信息是通过验证码请求返回携带的但有些网站并不是，所以每个网站可能都不同，需要具体跟踪分析通过session对象发送请求，获取验证码图片，并自动保存cookie信息识别验证码图片，获取验证码登录账号、密码、验证码等创建post请求参数使用保存了cookie信息的session对象向登录页面发送post请求。
大模型训练数据库Common Crawl
u013308709的博客
09-11 272
‌‌Common Crawl是一个非营利组织，致力于通过大规模分布式爬虫系统定期抓取整个Web并将其存储在一个可公开访问的数据库中。Common Crawl的数据收集和处理过程包括使用Python开源爬虫工具收集全球范围内的网站数据，并将其上传到‌Common Crawl基金会的数据仓库中。该项目从2008年开始，至今已经积累了大量的原始网页数据、元数据和文本提取数据。这些数据经过处理后，可以用于自然语言处理和机器学习的训练。
哪一种反爬虫策略更加人性化，不让用户感知到
最新发布
KookeeyLena8的博客
09-12 379
在数字时代，网络爬虫已成为数据获取和分析的重要工具，但过度的爬虫活动会对网站性能、用户体验及数据安全构成威胁。因此，实施有效的反爬虫策略对于保护网站和用户体验至关重要。然而，如何在确保网站安全的同时，不影响用户的正常访问体验，成为了一个值得探讨的问题。本文将介绍几种人性化的反爬虫策略，旨在实现安全与用户体验的平衡。
nginx过滤爬虫访问
qq_27361945的博客
09-09 1453
思路来自ai：Nginx可以通过多种方式来限制爬虫的行为：1. **User-Agent限制**：可以通过检查HTTP请求的User-Agent头部来识别并限制某些爬虫。例如，可以在Nginx配置文件中使用`if`语句来检查User-Agent，并使用`return`指令拒绝特定的User-Agent。
爬虫7：多线程与协程
bliblisukabulie的博客
09-06 509
我们可以使用线程池：一次性开辟一些线程，我们用户直接给线程池子提交任务，线程任务的调度交给线程池来完成。进程是资源单位 ，每个进程至少要有一个线程。因为91被封了这里用另一个视频网站代替吧。创建线程比创建进程花销小，故使用前者。多线程爬取北京新发地。
如何通过subprocess在数据采集中执行外部命令 —以微博为例
ip16yun的博客
09-12 449
在现代网络爬虫开发中，爬虫程序常常需要与外部工具或命令交互，以完成一些特定任务。subprocess是 Python 提供的强大模块，用于启动和管理外部进程，广泛应用于爬虫技术中。本文将探讨如何通过subprocess在爬虫中执行外部命令，并结合代理 IP、Cookie、User-Agent 和多线程技术，构建一个爬取微博数据的示例。
Python——爬虫（2）
2302_81225694的博客
09-08 544
这段代码首先使用requests库发送HTTP GET请求，然后使用BeautifulSoup解析HTML内容。然后，我们从每个li元素中提取视频的标题、作者和播放量，并打印出来。要使用Python爬取B站热门视频，可以使用第三方库requests和BeautifulSoup来实现。请注意，为了避免被B站服务器拒绝访问，我们添加了一个User-Agent标头，模拟一个正常的浏览器。注意：此代码仅适用于B站的网页结构。如果B站的网页结构发生变化，可能需要进行相应的修改。首先，你需要安装这两个库。
python爬虫--实用又便捷的第三方模块--requests实战
qiqi776532的博客
09-08 1073
本节课是爬虫课程的第三节课，我们在学习了正则表达式和爬虫基础知识后，开始学习Python爬虫的第三方优秀库，本节课主要学习了网络请求 requests 库，和网页解析库 BeautifulSoup 库（BS4），这些库在封装了很多基础的方法，使用方便快捷，功能强大，熟练掌握了这些库，在以后编写爬虫时会有事半功倍的效果。
python爬虫爬取淘宝商品比价||淘宝商品详情API接口
2301_79478575的博客
09-09 680
q=口罩&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20200404&ie=utf8&bcoffset=4&p4ppushleft=1%2C48&s=44&ntoffset=4 （第二页）q=口罩&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20200404&ie=utf8（起始页）功能描述：获取淘宝搜索页面的信息，提取其中的商品名称和价格。
计算机专业选题推荐-基于python的岗位兼职招聘平台【python-爬虫-大数据定制】
m0_73272351的博客
09-09 1169
随着信息技术的飞速发展和互联网的普及，传统的招聘方式已经无法满足现代社会对于灵活、高效、个性化招聘需求的增长。特别是在岗位兼职领域，求职者和雇主之间的信息不对称问题日益凸显，导致双方难以高效匹配。此外，随着远程工作和自由职业的兴起，人们对于灵活工作方式的需求不断增加，这进一步推动了对一个能够适应这些变化的招聘平台的需求。基于Python的岗位兼职招聘平台应运而生，旨在利用Python的强大功能和灵活性，构建一个高效、智能的招聘生态系统，以解决当前市场的需求。
Chrome浏览器字体设置教程
"这篇指南介绍了如何在Windows XP、Windows 7/8以及Mac操作系统中更改Google Chrome浏览器的默认字体。...调整Chrome字体需要一定的计算机知识，但对于熟悉文件系统和CSS的用户来说，这是一个相对简单的过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值