使用 Go 语言高效查找两个大文件中的相同记录-CSDN博客

在数据处理和分析中，找出两个大文件中相同的记录是一个常见的任务。本文将介绍如何使用 Go 语言来实现这一功能。我们将通过读取两个文件，比较它们的内容，并找出重复的记录。

准备工作

首先，确保你已经安装了 Go 环境。如果没有，可以从 Go 官方网站下载并安装。

示例代码

以下是一个简单的示例，演示如何查找两个大文件中的相同记录。假设每个文件的每一行都是一条记录。

package main

import (
    "bufio"
    "fmt"
    "os"
)

func main() {
    // 文件路径
    file1 := "path/to/first/file.txt"
    file2 := "path/to/second/file.txt"

    // 创建一个集合来存储文件1中的记录
    records := make(map[string]struct{})

    // 读取第一个文件并存储记录
    if err := readFileToSet(file1, records); err != nil {
        fmt.Println("Error reading file 1:", err)
        return
    }

    // 比较第二个文件并找到相同的记录
    if err := findCommonRecords(file2, records); err != nil {
        fmt.Println("Error reading file 2:", err)
        return
    }
}

// readFileToSet 读取文件并将记录存储到集合中
func readFileToSet(filename string, records map[string]struct{}) error {
    file, err := os.Open(filename)
    if err != nil {
        return err
    }
    defer file.Close()

    scanner := bufio.NewScanner(file)
    for scanner.Scan() {
        // 将每一行记录存入集合
        records[scanner.Text()] = struct{}{}
    }

    return scanner.Err()
}

// findCommonRecords 比较第二个文件并输出相同的记录
func findCommonRecords(filename string, records map[string]struct{}) error {
    file, err := os.Open(filename)
    if err != nil {
        return err
    }
    defer file.Close()

    scanner := bufio.NewScanner(file)
    var foundCommon bool
    for scanner.Scan() {
        line := scanner.Text()
        if _, exists := records[line]; exists {
            fmt.Println("Found common record:", line)
            foundCommon = true
        }
    }

    if !foundCommon {
        fmt.Println("No common records found.")
    }

    return scanner.Err()
}