Purell: 简洁易用的URL清理库-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00064/article/details/136775331

Purell是一个用于清理、简化和规范化URL的Go库，支持冗余部分清理、规范化、绝对URL生成和有效性检查。适用于爬虫、社交媒体分析等场景，提高开发者处理URL的工作效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Purell: 简洁易用的URL清理库

purelltiny Go library to normalize URLs项目地址:https://gitcode.com/gh_mirrors/pu/purell

Purell是一个Go语言编写的轻量级库，用于清理、简化和规范化URL。它可以帮助开发者处理和验证URL，确保其正确无误。

功能特性

清理URL中的冗余部分，如不必要的斜杠、重复的查询参数等。
去除URL中的空格和非法字符。
规范化URL，使其符合RFC 3986标准。
支持将相对URL转换为绝对URL。
提供了一个简单的命令行工具，方便进行URL清理操作。

使用场景

Purell适用于各种需要处理URL的场合，包括但不限于：

网站爬虫中对网页链接的处理和标准化。
社交媒体分析中对分享链接的清洗和整理。
用户输入的URL校验和规范化。

示例代码

以下是一些使用Purell的例子：

package main

import (
    "fmt"
    "github.com/PuerkitoBio/purell"
)

func main() {
    // 清理并规范化URL
    url := purell.NormalizeURLString("http://www.example.com//path/to/page?query=1&query=2", purell.FlagsDefault)
    fmt.Println(url) // 输出：http://example.com/path/to/page?query=1&query=2

    // 转换相对URL为绝对URL
    baseURL := "http://example.com/"
    relURL := "/path/to/another/page"
    absURL, err := purell.MakeAbsoluteURL(baseURL, relURL)
    if err != nil {
        panic(err)
    }
    fmt.Println(absURL) // 输出：http://example.com/path/to/another/page

    // 检查URL是否有效
    isValid := purell.IsValidURLString("http://invalid.url")
    fmt.Println(isValid) // 输出：false
}