TextSimilarity-文本查重

最新推荐文章于 2024-10-10 15:41:16 发布

q302989778

最新推荐文章于 2024-10-10 15:41:16 发布

阅读量1.7k

点赞数 1

分类专栏： C/C++小程序 C/C++

本文链接：https://blog.csdn.net/q302989778/article/details/87860950

版权

这篇博客介绍了如何利用TextSimilarity库进行文本查重。首先，你需要从git上下载jieba包并进行配置。确保将代码中的路径设置为你的本地路径。如果你在Linux环境下运行，可以省去UTF8和GBK之间的转换步骤。

摘要由CSDN通过智能技术生成

·TextSimilarity.h

#pragma once
#include <cppjieba/jieba.hpp>
#include <unordered_map>
#include <string>
#include <unordered_set>
#include<windows.h>
#include<fstream>
#include<iostream>
#include<algorithm>
#include<iterator>
#include<assert.h>

class TextSimilarity
{
public:
	typedef std::unordered_map<std::string, int> wordFreq;
	typedef std::unordered_set<std::string> wordSet;
	TextSimilarity(std::string dict);
	double getTextSimilarity(const char* file1, const char* file2);
	std::string GbkToUtf8(std::string src_str);
	std::string Utf8ToGbk(std::string src_str);
	wordFreq getWordFreq(const char* file);
	wordFreq SumNum(wordFreq, wordFreq);
	wordFreq BackWf(wordFreq, wordFreq);

private:

	void getStopWordTable(const char* stopWordFile);

	std::string DICT;
	std::string DICT_PATH;
	std::string HMM_PATH;
	std::string USER_DICT_PATH;
	std::string IDF_PATH;
	std::string STOP_WORD_PATH;
	cppjieba::Jieba _jieba;

	wordSet _stopWordSet;
};
bool MySort(std::pair<std::string, int>& a, std::pair<std::string, int>& b);
std::vector<std::pair<std::string, int>> Sort(TextSimilarity::wordFreq);
double consine(std::vector<int> oneHot1, std::vector<int> oneHot2);
std::vector<int> Transform(TextSimilarity::wordFreq);

·TextSimilarity.cpp

#include "TextSimilarity.h"

using namespace std;
const char* const DICT_PATH = "E:/TextSimilarity/cppjieba/cppjieba/dict/jieba.dict.utf8";
const char* const HMM_PATH = "E:/TextSimilarity/cppjieba/cppjieba/dict/hmm_model.utf8";
const char* const USER_DICT_PATH = "E:/TextSimilarity/cppjieba/cppjieba/dict

最低0.47元/天解锁文章