Trie树(字典树)_实现模糊查找(支持中文)

标签: Trie树 字典树 模糊匹配 搜索词 完整可运行代码
768人阅读 评论(0) 收藏 举报
分类:

搜索功能一般都有根据你的输入快速显示对应关键字的功能,比如你输入”刘”, 搜索框的下拉列表会显示“刘德华”,”刘若英”,”刘欢”等,你继续输入‘德’,将查询关键字变成”刘德”,显示的候选字列表会显示”刘德华”,”刘德华专辑”,”刘德华演唱会”等。下面将使用Trie树(字典树)来实现此功能。

一、什么是Trie树

Trie书又名字典树,字典是由一组词组成的集合,而字典树对这个集合进行了结构化的组织,将字典用另一种表达方式进行了表达。
首先字典书对一些具有公共前缀的词进行了“压缩”,大大减小了它占用的空间。同时对于字典内词的前缀检索也十分迅速,下面看一个图来理解下字典树:


上面的图就是字典树,字典树通过从根节点到子节点的路径来表达一个此,图中红色节点为一个词的最后一个节点,也就是说上面的树代表的单词有abc、ab、bd、dda,也就是红色节点的个数。其中,根节点不表示任何字符。字典树使用公共前缀压缩了存储结构,同时对于模糊匹配提供了很好的支持。

二、实现搜索词的模糊查找

(1)完整可运行的代码:

#include<iostream>
#include<string>
#include<map>
#include<vector>
using namespace std;
//字典树节点
class trieNode
{
public:
	trieNode() :count(0) {};
	//以当前节点结尾的字符串的个数
	int count;
	map<char16_t, trieNode*> child;
};
//字典树
class Trie
{
public:
	Trie() { root = new trieNode(); };
	void insert_string(const u16string& str);
	vector<u16string> get_str_pre(const u16string& str);
private:
	//辅助函数
	void add_str(trieNode* preNode, u16string str, vector<u16string>& ret);
	trieNode* search_str_pre(const u16string& str);

	trieNode* root;
};
//插入字符串,构建字典树
void Trie::insert_string(const u16string& str)
{
	if (!root || str.empty())
		return;

	trieNode* currentNode = root;

	for (auto& chr : str)
	{
		auto Iter = currentNode->child.find(chr);
		if (Iter == currentNode->child.end())
		{
			//如果当前字符不在字典树中,新建一个节点插入
			trieNode* newNode = new trieNode();
			currentNode->child.insert(make_pair(chr, newNode));
			currentNode = newNode;
		}
		else
		{
			//如果当前字符在字典书中,则将当前节点指向它的孩子
			currentNode = Iter->second;
		}
	}
	currentNode->count++;
}
//查找以str为前缀的节点
trieNode* Trie::search_str_pre(const u16string& str)
{
	if (!root || str.empty())
		return nullptr;

	trieNode* currentNode = root;
	for (auto& chr : str)
	{
		auto Iter = currentNode->child.find(chr);
		if (Iter != currentNode->child.end())
		{
			currentNode = Iter->second;
		}
		else
			return nullptr;
	}

	return currentNode;
}
//查找以str为前缀的所有字符串,保存在vector中返回
vector<u16string> Trie::get_str_pre(const u16string& str)
{
	vector<u16string> ret;
	trieNode* pre = search_str_pre(str);
	if (pre)
	{		
		add_str(pre, str, ret);
	}
	return ret;
}
//将preNode的所有子节点中字符串加入str前缀,然后插入到vector中
void Trie::add_str(trieNode* preNode, u16string str, vector<u16string>& ret)
{
	for (auto Iter = preNode->child.begin(); Iter != preNode->child.end(); ++Iter)
	{
		add_str(Iter->second, str + Iter->first, ret);
	}
	if (preNode->count != 0)
		ret.push_back(str);
}


int main()
{
	//为了终端能打印出中文
	setlocale(LC_ALL, "");
	//测试字符串用于构建字典树,utf-16编码,能同时保存中英文
	vector<u16string> hotworlds = { u"杨文婷",u"联系",u"杨洋洋",u"杨sir大警官",u"杨y文w婷t",u"杨文婷是小学生",
		u"杨钰莹",u"杨文婷ywt是小学生",u"联系a群众",u"阳光么",u"阳光明媚",u"ywt是小学生",u"联系ywt",u"杨文t爱吃面",u"杨文婷妹妹",
		u"杨光明眉",u"小学生",u"杨文婷爱吃面",u"我是小学生",u"我是中国人",u"ywt要吃面",u"y杨文婷",u"有问题" };
	Trie trie;
	for (auto& maString : hotworlds)
	{
		trie.insert_string(maString);
	}

	//输入“杨文婷”,返回所有以“杨文婷”为前缀的词
	vector<u16string> res = trie.get_str_pre(u"杨文婷");

	//打印结果
	for (auto& resString : res)
	{
		for (auto& chr : resString)
		{
			printf("%lc", chr);
		}
		printf("\n");
	}

	system("pause");
	return 0;
}
(二)运行结果:

查看评论

数据结构——从英文字典树到中文字典树

昨天面试电话中的一道题,题目如下:给你一个姓名的集合,查找你的名字是否在里面出现,比如搜索姓氏为叶的人,那么会出现所有姓为叶的人,应该如何设计? 当时的回答是,姓为key,名为value,存放到mul...
  • a987073381
  • a987073381
  • 2016-08-09 23:08:09
  • 2285

中文trie树

这几天被汉字trie树小折腾了一下。 开始的时候想直接将单字节作为字典树的节点建树,虽然各个树的节点可能只是多字节字符的一部分,但是基本功能也能够支持。后来发现似乎有些问题,比如在做前向最大匹配分词...
  • amblue
  • amblue
  • 2011-07-01 10:31:00
  • 4229

海量数据处理之Tire树(字典树)

参考博文:http://blog.csdn.net/v_july_v/article/details/6897097 第一部分、Trie树 1.1、什么是Trie树     Trie树,即字典树...
  • ts173383201
  • ts173383201
  • 2012-08-13 09:02:23
  • 19974

Trie树实现词典查找算法

1.Trie树简介 Trie树又称单词查找树,是一是一种哈希树的变种。典型应用是用于统计,排序和保存大量的字符串(但不仅限于字符串),所以经常被搜索引擎系统用于文本词频统计。它的优点是:利用字符串的公...
  • u010189459
  • u010189459
  • 2014-06-13 19:35:47
  • 1094

Trie 树(又称字典树,单词查找树)

Trie 树, 又称字典树,单词查找树。它来源于retrieval(检索)中取中间四个字符构成(读音同try)。用于存储大量的字符串以便支持快速模式匹配。主要应用在信息检索领域。   Tr...
  • arhaiyun
  • arhaiyun
  • 2013-09-23 02:14:27
  • 7938

Trie树(字典树)

1. Trie树 Trie树,即字典树,又称单词查找树或键树,是一种树形结构,是一种哈希树的变种。典型应用是用于统计和排序大量的字符串(但不仅限于字符串),所以经常被搜索引擎系统用于文本词频统计。它...
  • jiutianhe
  • jiutianhe
  • 2012-10-16 13:56:13
  • 20612

字典树(Trie树)用法及例子(一)

字典树(Trie)概述字典树,又名Trie树。顾名思义,在字典中很好用。我们在查牛津词典时都是先按第一个字母找到以这个字母为首的单词所在的初始位置,在此位置的基础上,再按照第二个字母继续找。。。 插...
  • u010902721
  • u010902721
  • 2015-05-15 20:53:31
  • 4959

字典树详解----串查找、排序、公共前缀之杀手锏

1、字典树       又称单词查找树,Trie树,是一种树形结构,是一种哈希树的变形。典型应用是用于统计,排序和保存大量的字符串,所以经常被搜索引擎系统用于文本词频统计。它的优点是利用最大公共前缀来...
  • cyongxue
  • cyongxue
  • 2014-02-21 11:15:57
  • 4034

字典树的C++实现 Implement of trie tree

Trie,字典树,又称单词查找树、前缀树,是一种哈希树的变种。应用于字符串的统计与排序,经常被搜索引擎系统用于文本词频统计。   性质: 1.根节点不包含字符,除根节点外的每一个节点都只包含一个字符。...
  • showonstage1
  • showonstage1
  • 2014-04-03 01:42:11
  • 2867

Trie树(字典树)实现词频统计或前缀匹配类型的问题

一:概念      如果我们有and,as,at,cn,com这些关键词,那么trie树(zidianshu)? 从上面的图中,我们或多或少的可以发现一些好玩的特性。    ...
  • Sup_Heaven
  • Sup_Heaven
  • 2014-10-15 15:31:55
  • 5476
    个人资料
    持之以恒
    等级:
    访问量: 1万+
    积分: 498
    排名: 10万+
    最新评论