DNA序列k-mers哈希映射和相似序列查找

对DNA序列的k-mer进行哈希映射和相似序列查找是生物信息学中常见的任务之一。使用哈希函数对DNA序列的k-mer进行映射，并使用哈希表进行相似序列的查找。这种方法可以加速相似序列的搜索，并在处理大规模DNA序列数据时具有较好的性能。

哈希函数是一种将输入数据映射到固定长度的输出数据的函数。它的主要特点是对于给定的输入，能够产生唯一的输出，称为哈希值或散列值。哈希函数常用于密码学、数据完整性检查、数据检索和散列映射等领域。以下是一些常见的哈希函数及其特点：

1. MD5（Message Digest Algorithm 5）：

   • 特点：MD5是一种广泛使用的哈希函数，产生128位（16字节）的哈希值。它以高度的不可逆性和强大的碰撞抗性而闻名。
   • 应用：曾经用于密码存储、数据完整性校验等领域，但由于其存在碰撞攻击的风险，目前已不建议用于安全性要求较高的场景。

2. SHA-1（Secure Hash Algorithm 1）：

   • 特点：SHA-1是一种产生160位（20字节）哈希值的算法。类似于MD5，但比MD5更安全，虽然它也有已被发现的弱点。
   • 应用：常用于数字签名、SSL证书等领域。然而，由于其碰撞攻击的漏洞，已逐渐被SHA-2和SHA-3所取代。

3. SHA-2（Secure Hash Algorithm 2）：

   • 特点：SHA-2包括SHA-224、SHA-256、SHA-384、SHA-512等几种变体，产生的哈希值长度分别为224位、256位、384位和512位，安全性较SHA-1提高了许多。
   • 应用：SHA-256是最广泛使用的变体，被广泛应用于密码学、数字签名、数据完整性验证等领域。

4. SHA-3（Secure Hash Algorithm 3）：

   • 特点：SHA-3是NIST在2015年发布的最新的哈希算法标准，设计初衷是在SHA-2的基础上提供一个备用方案。SHA-3的设计与SHA-2有所不同，采用了Keccak算法。
   • 应用：SHA-3提供了与SHA-2相似的安全性，但在实现细节上有所不同，可用于与SHA-2相似的应用场景。

import hashlib

class ProbeHash:
    def __init__(self, k):
        self.k = k
        self.hash_table = {}

    def generate_kmers(self, sequence):
        kmers = [sequence[i:i+self.k] for i in range(len(sequence) - self.k + 1)]
        return kmers

    def hash_function(self, kmer):
        # 使用SHA-256哈希函数对k-mer进行哈希
        hashed_kmer = hashlib.sha256(kmer.encode()).hexdigest()
        return hashed_kmer

    def add_probe(self, probe_id, sequence):
        kmers = self.generate_kmers(sequence)
        for kmer in kmers:
            hashed_kmer = self.hash_function(kmer)
            if hashed_kmer not in self.hash_table:
                self.hash_table[hashed_kmer] = [probe_id]
            else:
                self.hash_table[hashed_kmer].append(probe_id)
    
    
    # 只要有同样的kmer，就是similar_probe
    def find_similar_probes(self, query_probe):
        similar_probes = set()
        query_kmers = self.generate_kmers(query_probe)
        for kmer in query_kmers:
            hashed_kmer = self.hash_function(kmer)
            #print("kmer:" ,kmer)
            #print("hashed_kmer:" ,hashed_kmer)
            if hashed_kmer in self.hash_table:
                similar_probes.update(self.hash_table[hashed_kmer])
        return similar_probes

# 示例用法
probe_hash = ProbeHash(k=8)  # 使用8-mer
# 添加探针
probe_hash.add_probe("probe1", "ATCGATCGATCGAAGTCGATCGCAT")
probe_hash.add_probe("probe2", "GGGCGGGCGGCCGCGATGCAGTACG")
probe_hash.add_probe("probe3", "CGATCGATCGATATGCGATCGATACG")

#print("probe_hash.hash_table:", probe_hash.hash_table) 

# 查询相似探针
similar_probes = probe_hash.find_similar_probes("CGATCGATTAATATGCGTTCGATAGG")
print("Similar probes:", similar_probes)