【Python】获取网页源码html后，存入SQL时html字段太长了怎么办？

翠花上酸菜

于 2024-08-13 10:23:22 发布

阅读量268

点赞数 9

分类专栏： python sql 文章标签： sql 数据库 html 网络爬虫

本文链接：https://blog.csdn.net/Meggie35/article/details/140555063

版权

python 同时被 2 个专栏收录

33 篇文章 0 订阅

订阅专栏

sql

7 篇文章 0 订阅

订阅专栏

我们在爬取网页内容时，往往会有几万个字段的html源码，如果存入MYSQL 上，会出现字段太大存入不了的问题。

以下是一些处理这种情况的策略：

1. 使用更大的字段类型：

如果数据库支持，可以考虑将字段类型从 VARCHAR 改为 TEXT 或 BLOB，或者再大一点的文本储存格式：MEDIUMTEXT 或 LONGTEXT。（强推！）

例如，在MySQL中，可以将 VARCHAR(255) 改为 TEXT。

2. 压缩HTML内容：

使用HTML压缩工具或库来减少HTML内容的大小。这可以通过删除多余的空格、注释和优化标签来实现。

htmlmin.minify 是一个用于压缩 HTML 内容的函数，它可以移除 HTML 字符串中的多余空格、注释等，以减小 HTML 文件的大小。这通常用于提高网页加载速度和改善性能。
获取的html如果想要压缩，可以用 htmlmin.minify的方法：

import htmlmin

html = """
<!DOCTYPE html>
<html>
<head>
    <title>示例页面</title>
</head>
<body>
    <h1>欢迎来到我的网站</h1>
    <p>这是一个示例段落。</p>
    <!-- 这是一个注释，将会被移除 -->
</body>
</html>
"""
mini_html = htmlmin.minify(str(html), remove_empty_space=True)
print(mini_html )

#增强版
mini_html = htmlmin.minify(str(html), remove_empty_space=True, remove_comments=True)
print(mini_html )