使用Go语言实现图标点选验证码识别及分割

图标点选验证码是一种有效的防止自动化攻击的手段，它要求用户点击指定的图标进行验证。本文将介绍如何使用Go语言结合ONNX模型和Siamese神经网络来实现图标点选验证码的识别和分割。

一、技术背景
图标点选验证码的破解分为两部分：图标分割和相似度对比。图标分割用于检测并裁剪出验证码图片中的各个图标；相似度对比则用于确定这些图标是否与指定的目标图标相匹配。

二、图标分割
1. 图像处理
首先，加载并处理图像。为了适应模型的输入要求，需要对图像进行缩放和填充。

go

package main

import (
    "image"
    "image/draw"
    "image/jpeg"
    "os"
    "github.com/nfnt/resize"
)

func paddedResize(img image.Image, newWidth, newHeight uint) image.Image {
    resized := resize.Resize(newWidth, newHeight, img, resize.Lanczos3)
    newImage := image.NewRGBA(image.Rect(0, 0, int(newWidth), int(newHeight)))
    draw.Draw(newImage, newImage.Bounds(), resized, image.Point{}, draw.Src)
    return newImage
}

func loadImage(filePath string) (image.Image, error) {
    file, err := os.Open(filePath)
    if err != nil {
        return nil, err
    }
    defer file.Close()
    img, err := jpeg.Decode(file)
    if err != nil {
        return nil, err
    }
    return img, nil
}

func saveImage(img image.Image, filePath string) error {
    out, err := os.Create(filePath)
    if err != nil {
        return err
    }
    defer out.Close()
    return jpeg.Encode(out, img, nil)
}

func main() {
    img, err := loadImage("path/to/image.jpg")
    if err != nil {
        panic(err)
    }
    resizedImg := paddedResize(img, 640, 640)
    saveImage(resizedImg, "path/to/resized_image.jpg")
}
2. ONNX模型推理
加载ONNX模型并进行目标检测。这里使用ONNX Go库进行推理。

go

package main

import (
    "fmt"
    "github.com/owulveryck/onnx-go"
    "gocv.io/x/gocv"
)

func detectObjects(imagePath string, modelPath string) ([]gocv.Rect, error) {
    net := onnx.NewONNXModel()
    err := net.Init(modelPath)
    if err != nil {
        return nil, err
    }
    img := gocv.IMRead(imagePath, gocv.IMReadColor)
    defer img.Close()
    // Assuming the model input is a 4D tensor [1, 3, 640, 640]
    blob := gocv.BlobFromImage(img, 1.0/255.0, image.Pt(640, 640), gocv.NewScalar(0, 0, 0, 0), true, false)
    defer blob.Close()
    net.SetInput(blob, "input")
    prob := net.Forward("output")
    // Process the output to get bounding boxes
    // ...
    return []gocv.Rect{}, nil
}

func main() {
    imagePath := "path/to/resized_image.jpg"
    modelPath := "path/to/model.onnx"
    boxes, err := detectObjects(imagePath, modelPath)
    if err != nil {
        panic(err)
    }
    fmt.Println("Detected boxes:", boxes)
}
3. 画框与裁剪
根据检测结果画出边框并裁剪图标。

go

func drawRectangle(img gocv.Mat, rect gocv.Rect) gocv.Mat {
    gocv.Rectangle(&img, rect, color.RGBA{255, 0, 0, 0}, 2)
    return img
}

func cropImage(img gocv.Mat, rect gocv.Rect) gocv.Mat {
    return img.Region(rect)
}

func main() {
    imagePath := "path/to/resized_image.jpg"
    modelPath := "path/to/model.onnx"
    boxes, err := detectObjects(imagePath, modelPath)
    if err != nil {
        panic(err)
    }
    img := gocv.IMRead(imagePath, gocv.IMReadColor)
    defer img.Close()
    for _, box := range boxes {
        img = drawRectangle(img, box)
        cropped := cropImage(img, box)
        gocv.IMWrite(fmt.Sprintf("cropped_%d.jpg", i), cropped)
    }
    gocv.IMWrite("boxed_image.jpg", img)
}
三、相似度对比
1. Siamese神经网络
使用Siamese网络进行相似度对比。

go

package main

import (
    "fmt"
    "github.com/owulveryck/onnx-go"
    "gocv.io/x/gocv"
)

func preprocessImage(imagePath string) (gocv.Mat, error) {
    img := gocv.IMRead(imagePath, gocv.IMReadColor)
    defer img.Close()
    blob := gocv.BlobFromImage(img, 1.0/255.0, image.Pt(60, 60), gocv.NewScalar(0, 0, 0, 0), true, false)
    return blob, nil
}

func getSimilarity(modelPath string, imgPath1, imgPath2 string) (float32, error) {
    net := onnx.NewONNXModel()
    err := net.Init(modelPath)
    if err != nil {
        return 0, err
    }
    img1, err := preprocessImage(imgPath1)
    if err != nil {
        return 0, err
    }
    img2, err := preprocessImage(imgPath2)
    if err != nil {
        return 0, err
    }
    // Assuming the model input is two 4D tensors [1, 3, 60, 60]
    net.SetInput(img1, "input1")
    net.SetInput(img2, "input2")
    prob := net.Forward("output")
    // Process the output to get similarity score
    // ...
    return 0, nil
}

func main() {
    modelPath := "path/to/siamese_model.onnx"
    imgPath1 := "path/to/image1.jpg"
    imgPath2 := "path/to/image2.jpg"
    similarity, err := getSimilarity(modelPath, imgPath1, imgPath2)
    if err != nil {
        panic(err)
    }
    fmt.Println("Similarity:", similarity)
}
四、测试与结果
进行模型测试并展示结果。

go

func testModel(imagePath string, targetImagePath string, modelPath string) {
    boxes, err := detectObjects(imagePath, modelPath)
    if err != nil {
        panic(err)
    }
    img := gocv.IMRead(imagePath, gocv.IMReadColor)
    defer img.Close()
    for _, box := range boxes {
        cropped := cropImage(img, box)
        gocv.IMWrite("cropped.jpg", cropped)
        similarity, err := getSimilarity(modelPath, "cropped.jpg", targetImagePath)
        if err != nil {
            panic(err)
        }
        fmt.Println("Similarity:", similarity)
    }
}

func main() {
    imagePath := "path/to/resized_image.jpg"
    targetImagePath := "path/to/target_image.jpg"
    modelPath := "path/to/model.onnx"
    testModel(imagePath, targetImagePath, modelPath)
}

更多内容联系1436423940