matlab源代码 语义相似度计算,[转载][源代码]利用Hownet进行语义相似度计算的类...

最新推荐文章于 2023-05-15 15:12:00 发布
最新推荐文章于 2023-05-15 15:12:00 发布
阅读量230 收藏
点赞数
文章标签： matlab源代码 语义相似度计算

#if !defined HownetWord_H

#define HownetWord_H

///

///

Hownet的词的表示(只考虑四大部分而忽略概念，即具体词),与刘群算法不同，对于一个词的多次出现进行合并，因此所谓第一义原也不止一个

///

class HownetWord

{

public:

HownetWord(string strLine):word("")

{

char* token;

token=strtok((char*)strLine.c_str(),"

t");

if(token!=NULL)

{

word=string(token);

token=strtok(NULL,"

t");

}

if(token!=NULL)

{

token=strtok(NULL,"

t");

}

if(token!=NULL)

{

char

*ttok=strtok(token,",");

while(ttok!=NULL)

{

char

firstC=ttok[0];

string

strP="";

string

ps(ttok);

string::size_type

pos=ps.find(" ");

//

关系义原

if(pos!=string::npos)

{

strP

= ps.substr(pos+1,ps.length()-pos-1);

}

//

基本义原

else

if(firstC>='a'&&firstC<='z'||firstC>='A'&&firstC<='Z')

{

strP=ps;

}

//

关系符号描述

else

if(firstC != '(')

{

strP=ps.substr(1,ps.length()-1);

}

if(strP.length()>0&&relationPrimitives.find(strP)==relationPrimitives.end())

{

relationPrimitives.insert(map::value_type(strP,NULL));

}

//

忽略具体词

ttok=strtok(NULL,",n");

}

}

} ///

/// 关系义原描述

///

map relationPrimitives ;

///

/// 词

///

string word ;

};

#endif

// WordRelvanceCalculator.cpp: implementation

of the CWordRelvanceCalculator class.

//

//

#include "WordRelvanceCalculator.h"

//

// Construction/Destruction

//

CWordRelvanceCalculator::CWordRelvanceCalculator():Alpha(1.60),Gama(0.20)

{

TCHAR szPhraseFileName[200]={' '};

LPTSTR lpPhraseFileName=szPhraseFileName;

lpPhraseFileName = szPhraseFileName;

lpPhraseFileName +=

GetSystemDirectory(szPhraseFileName,200);

if (*(lpPhraseFileName-1) != _T('\'))

*lpPhraseFileName++ =

_T('\'); string strDir(szPhraseFileName);

Initialize(strDir);

}

CWordRelvanceCalculator::~CWordRelvanceCalculator()

{

}

void CWordRelvanceCalculator::Initialize(string

&strDictDir)

{

LoadPrimitiveDict(strDictDir

+ "WHOLE.DAT"); LoadWordDict(strDictDir +

"glossary.dat");

}

//读取义原词典

void CWordRelvanceCalculator::LoadPrimitiveDict(string

&strDictPath)

{

FILE*

fhandle=fopen(strDictPath.c_str(),"r");

if(!fhandle)

{

}

else

{

char

in_line[1024];

fgets(in_line,1024,fhandle);

while(!feof(fhandle))

{

string

line(in_line);

HownetPrimitive

hp(line);

//

如果义原在义原词典中重复出现，则只保留最前面一个(暂时先这么做)

if(m_oNamePrimitiveMap.find(hp.name)==m_oNamePrimitiveMap.end())

{

m_oNamePrimitiveMap.insert(map::value_type(hp.name,hp));

}

m_oIdParentMap.insert(map::value_type(hp.id,hp.parent));

fgets(in_line,1024,fhandle);

}

fclose(fhandle);

}

}

//读取词汇字典

void CWordRelvanceCalculator::LoadWordDict(string

&strDictPath)

{

FILE*

fhandle=fopen(strDictPath.c_str(),"r");

if(!fhandle)

{

}

else

{

char in_line[1024];

fgets(in_line,1024,fhandle);

while(!feof(fhandle))

{

string

line(in_line);

HownetWord

hw(line);

//

如果该词在前面已经出现过，则将所有这些词的义原进行合并(暂时先这么做)

map::iterator

hwIte;

if((hwIte=m_oWordMap.find(hw.word))!=m_oWordMap.end())

{

HownetWord

prevHW=hwIte->second;

map::iterator

ite2;

for(ite2=hw.relationPrimitives.begin();ite2!=hw.relationPrimitives.end();ite2++)

{

if(prevHW.relationPrimitives.find(ite2->first)!=prevHW.relationPrimitives.end())

{

prevHW.relationPrimitives.insert(map::value_type(ite2->first,ite2->second));

}

}

}

else

{

m_oWordMap.insert(map::value_type(hw.word,

hw));

}

fgets(in_line,1024,fhandle);

}

fclose(fhandle);

}

}

/*

* 利用hownet计算两个义原之间的关联度

*/

double CWordRelvanceCalculator::ComputePrimitiveSimilarity(string

&strPrimitive1, string &strPrimitive2)

{

if(strPrimitive1==strPrimitive2)

return 1.0;

//

两个义原之间的距离

int distance = 0;

//

如果两个义原有任何一个不是合法的义原，则返回一个默认值

map::iterator

ite=m_oNamePrimitiveMap.find(strPrimitive1);

if(ite==m_oNamePrimitiveMap.end()) return

Gama;

HownetPrimitive firstP =

ite->second;

ite=m_oNamePrimitiveMap.find(strPrimitive2);

if(ite==m_oNamePrimitiveMap.end()) return

Gama;

HownetPrimitive secondP =

ite->second;

//

计算两个义原之间的距离

int firstID = firstP.id;

int secondID = secondP.id;

while(firstID != secondID)

{

//

将id较大的义原沿着树上升一级，直至两个id相等

if(firstID > secondID)

{

int tmpID =

firstID;

firstID =

secondID;

secondID =

tmpID;

} int parentID =

m_oIdParentMap[secondID];

//

如果有某个ID没有父义原，则返回一个较小值

if(secondID == parentID)

{

distance =

15;

break;

}

secondID = parentID;

distance++;

}

return Alpha / (distance + Alpha);

}

/*

* 计算两个词语的相关度

*/

double CWordRelvanceCalculator::ComputeRelevance(const string

&strCnWord1, const string &strCnWord2)

{

if(strCnWord1==strCnWord2)

{

return

1.0;

}

map::iterator

myite= m_oWordMap.find(strCnWord1);

if(myite==m_oWordMap.end()) return

Gama;

HownetWord

&hw1=myite->second;

myite=

m_oWordMap.find(strCnWord2);

if(myite==m_oWordMap.end()) return

Gama;

HownetWord &hw2 =

myite->second;

// 相似度

double fSim = 0;

// 矩阵的长边和短边

int length =

hw1.relationPrimitives.size();

int width =

hw2.relationPrimitives.size();

if(length < width)

{

length =

hw2.relationPrimitives.size();

width =

hw1.relationPrimitives.size();

}

if(length == 0 || width ==

0)

{

return

Gama;

}

//

矩阵用以存两两之间的相似度

vector

> simMatrix;

for(int i=0; i <

hw1.relationPrimitives.size()+1; i++)

{

vector

tv;

simMatrix.push_back(tv);

vector

& tv2 = simMatrix[i];

tv2.resize(hw2.relationPrimitives.size()+1);

//vector

& tv3 = simMatrix[i];

//cout

<< tv3.size() << "t";

//simMatrix[i]

= new double[hw2.relationPrimitives.size()];

}

//

计算两两义原之间的相似度

map::iterator

ite=hw1.relationPrimitives.begin();

int row = 0;

for(;ite!=hw1.relationPrimitives.end();ite++)

{

//

第一个词的第i个义原

string

strP1=ite->first;

int

col=0;

map::iterator

ite2=hw1.relationPrimitives.begin();

for(;ite2!=hw1.relationPrimitives.end();ite2++)

{

string

strP2=ite2->first;

simMatrix[row][col]

= ComputePrimitiveSimilarity(strP1, strP2);

col++;

}

row++;

}

//

从矩阵中找出最大值，然后把该值所在行列清零

double fSimSum = 0;

int MaxRow = -1;

int MaxCol = -1;

double MaxSim = 0;

for(i=0; i < width;

i++)

{

//

找出当前对大的值

for(int m=0;

m < hw1.relationPrimitives.size(); m++)

{

for(int

n=0; n < hw2.relationPrimitives.size(); n++)

{

if(simMatrix[m][n]

> MaxSim)

{

MaxRow

= m;

MaxCol

= n;

MaxSim

= simMatrix[m][n];

}

}

}

fSimSum +=

MaxSim;

MaxSim =

0;

//

将最大值所在行列全部清零

for(int j=0;

j < hw2.relationPrimitives.size(); j++)

{

simMatrix[MaxRow][j]

= 0;

}

for(j=0; j

< hw1.relationPrimitives.size(); j++)

{

simMatrix[j][MaxCol]

= 0;

}

}

//

计算最终相似度，公式推导过程:

//

如果length和width越接近，fSimSum越接近width，则最终的相似度应该越大；

//

所以我们假设那些没有对齐的部分的默认相似度不应该是固定的，我们用(width

/ length) * (fSimSum / width) = fSimSum / length表示

//

所以总共需要补充到fSimSum的数值为: (length - width) * SimSum /

length

// 最后的相似度还要除以

length

// 最后得到下面的计算公式

fSim = fSimSum * (2.0 / length

- width * 1.0 / (length * length));

return fSim;

}

// WordRelvanceCalculator.h: interface for the

CWordRelvanceCalculator class.

//

//

#if

!defined(AFX_WORDRELVANCECALCULATOR_H__C5D16340_1E8E_450C_A65F_7101DA8D638C__INCLUDED_)

#define

AFX_WORDRELVANCECALCULATOR_H__C5D16340_1E8E_450C_A65F_7101DA8D638C__INCLUDED_

#if _MSC_VER > 1000

#pragma once

#endif // _MSC_VER > 1000

#pragma warning(disable:4786)

#include "MyIME.h"

#include "HownetPrimitive.h"

#include "HownetWord.h"

/*

* 利用hownet进行语意相似度计算

*

包括相关度，相似度两个方面 */

class CWordRelvanceCalculator {

public:

CWordRelvanceCalculator();

virtual ~CWordRelvanceCalculator();

private:

void Initialize(string &strDir);

///

/// 载入义原词典

///

///

name="strDictPath">

void LoadPrimitiveDict(string

&strDictPath);

///

/// 载入词典

///

///

name="strDictPath">

void LoadWordDict(string &strDictPath);

///

/// 计算两个义原的相似度

///

///

name="strPrimitive1">

///

name="strPrimitive2">

///

double ComputePrimitiveSimilarity(string

&strPrimitive1, string &strPrimitive2);

public:

///

/// 计算两个词的相关度

///

///

name="strCnWord1">

///

name="strCnWord2">

///

double ComputeRelevance(const string

&strCnWord1, const string &strCnWord2);

private:

///

/// 存储每个词及其相关的义原描述

///

map m_oWordMap ;

///

///

存储每个义原的名称与该义原的对应关系，用于按义原名称检索义原

///

map

m_oNamePrimitiveMap ;

///

///

存储每个义原的ID与其父义原的ID的对应关系，用于从低一级义原往上层回溯

///

map m_oIdParentMap ;

///

/// 计算义原相似度的参数

///

const double Alpha ;

///

///

当一个义原没有对应义原的时候，赋予一个默认值

///

const double Gama ;

};

#endif //

!defined(AFX_WORDRELVANCECALCULATOR_H__C5D16340_1E8E_450C_A65F_7101DA8D638C__INCLUDED_)

徐慧琳
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hownet相似度计算
10-13
关于知网相似度计算的ppt，以及如何实现基于知网的语义相似度
C#编写的基于知网HowNet的词语相似度计算
04-09
知网（英文名称为HowNet）是一个以汉语和英语的词语所代表的概念为描述对象，以揭示概念与概念之间以及概念所具有的属性之间的关系为基本内容的常识知识库，包括词语之间的相似度。 该代码是在前人基础上进行修改的C#版本。
利用Hownet进行语义相似度计算的类(
数学屌丝走在it的道路上
03-05 2540
转自：http://blog.sina.com.cn/s/blog_4a8c215101000c1i.html ///在这里要感谢在UIUC攻读博士学位的小胖子同学，本代码是在他的C#版本上的改 ///写,希望小胖子同学早日毕业！！ #if !defined HownetPrimitive_H #define HownetPrimitive_H #include /// ///
matlab源代码 语义相似度计算,基于WMD（词移距离）的句子相似度分析MATLAB代码...
weixin_35651191的博客
03-19 433
WMD简介词移距离(Word Mover’s Distance)更多内容：WMD MATLAB代码注意emd_mex是调用搬土距离的库Earth Mover’s DistanceMATLAB%徐奕 E21614061clccleartic;load_file = 'bbcsport.mat'; % 数据集为bbcsportsave_file = 'wmd_d_bbcsport.mat';%X每个单...
Matlab Simulink_仿真_开关电源47415acdcbuck.mdl源代码下载
05-14
Matlab Simulink_仿真_开关电源47415acdcbuck.mdl源代码下载 Matlab Simulink_仿真_开关电源47415acdcbuck.mdl源代码下载 Matlab Simulink_仿真_开关电源47415acdcbuck.mdl源代码下载
MATLAB计算粒子速度分布 源程序代码.zip
01-05
MATLAB计算粒子速度分布 源程序代码.zip
基于HowNet的词相似度计算
04-05
词相似度计算有重要应用在许多领域，例如自然语言处理，情报信息检索，文档聚类，自动应答， 词义歧义消除，机器翻译等。本文对基于词的相似度计算进行了深入研究知网和单词相似度的计算分为三个步骤：（1） 计算词素相似度，（2）计算概念相似度使用权重相似度的加权和方法，（3）取概念的最大相似度是单词相似度。 本文主要介绍对音素的编号，并介绍更多分解概念描述类型的准确方法。 这实验表明，提出了词相似度算法本文简单可行，计算结果为与意识相对一致。
自然语言处理中句子相似度计算的几种方法
Vincent的博客
09-13 5295
在做自然语言处理的过程中，我们经常会遇到需要找出相似语句的场景，或者找出句子的近似表达，这时候我们就需要把类似的句子归到一起，这里面就涉及到句子相似度计算的问题，那么本节就来了解一下怎么样来用 Python 实现句子相似度的计算。 基本方法 句子相似度计算我们一共归类了以下几种方法： 编辑距离计算 杰卡德系数计算 TF 计算 TFIDF 计算 Word2Vec 计算 下面我们来一一了...
基于matlab的适应度曲线的代码,matlab常用的几个适应度评价函数分析.docx
weixin_30286727的博客
03-19 1275
matlab常用的几个适应度评价函数分析/niuyongjie/article/details/1619496?粒子群算法(6)-----几个适应度评价函数下面给出几个适应度评价函数，并给出图形表示????? 头几天机子种了病毒，重新安装了系统，不小心把程序全部格式化了，痛哭！！！没办法，好多程序不见了，现在把这几个典型的函数重新编写了，把他们给出来，就算粒子群算法的一个结束吧！痛恨病毒！！！！第...
计算相似度的matlab代码-ssim:SSIM算法的IDL实现
05-28
计算相似度的matlab代码SIM卡 这是用于计算两个图像之间的结构相似性（SSIM）索引的算法的实现。 这是Christiaan Boersma博士（）的IDL实现，已从出版物中可用并在出版物中使用的Matlab版本移植而来： --- Boersma，C.，Bregman，J.，Allamandola，LJ，“跨越反射星云，H ii地区和行星状星云的多环芳烃的电荷状态”，2018年，ApJ，858，67- -- 使用此代码时，请参考： --- Wang，Z.，Bovik，AC，Sheikh，HR，Simoncelli，EP，“图像质量评估：从错误可见性到结构相似性”，2004年，IEEE Transactios on Image Processing，13，600- 请注意，scikit-image包在其指标模块（）中提供了SSIM算法的Python实现。 输入项 img1：要比较的第一张图片。 img2：正在比较的第二张图片。 K：SSIM索引公式中的常量（请参见上面的参考）。 默认值：K = [0.01 0.03]。 window：用于统计的本地窗口（请参阅上面的参考）。 默认窗
计算相似度的matlab代码-spikerlib:用于分析峰值序列和神经数据的工具和指标
05-28
计算相似度的matlab代码尖刺者 这是用于分析尖峰序列和来自神经元和神经网络仿真的数据的工具和度量的集合。 该软件包分为三个子模块： 指标 峰值火车距离指标。 包括用于计算一些最广泛使用的尖峰时间相似性度量（Victor-Purpura，Kreuz SPIKE距离，Florian模量度量）的代码。 其他实现： Victor-Purpura距离代码改编自上找到的Matlab代码。 Kreuz SPIKE距离度量标准的正式实现是的一部分。 作者可以在上获得“模量”度量。 变化性 通常用于测量神经峰值变异性的变异性指标（CV，CV2，LV，IR）。 工具 通用工具。 该子模块中的某些功能依赖Brian（）来工作，因为它们用于生成输入或使用模拟器运行模拟。
数据融合matlab代码-BIRWMDA:融合多个生物网络以有效预测miRNA-疾病关联
05-22
数据融合matlab代码融合多个生物网络以有效预测miRNA-疾病关联 数据从以下位置下载： 通过BIRWMDA推断与疾病相关的microRNA 如何使用该工具？ 只需运行“ BIRWMDA_predict.m”即可产生结果。 数据集：数据下载： 疾病语义相似度矩阵1.txt：疾病语义相似度1（383×383） 疾病语义相似度矩阵2.txt：疾病语义相似度2（383×383） 功能相似性矩阵.txt：microRNA功能相似性（495×495） knowndiseasemirnainteraction.txt：已知的microRNA-疾病关联（5430 * 2） 疾病名称.xlsx：所有疾病的ID miRNA name.xlsx：所有microRNA的ID 程序： BIRWMDA_predict.m：运行程序的主界面 高斯相似度.m：计算microRNA和疾病的高斯相互作用谱核相似度 SNF.m：融合多种生物信息网络 BIRWMDA.m：随机行走microRNA和疾病相似性网络 Rank.m：与疾病相关的microRNA排序 Write_file.m：将结果写入excel 操作环境：
文本相似度计算，基于同义词词林，hownet，指纹，字符向量，词向量
qq_53962537的博客
05-15 430
代码中会用到一些模型，模型在上述的原文链接里，如果链接已失效，可以从这里下载。原文有几段代码无法正常运行，我对其进行了相关修改。
matlab源代码 语义相似度计算,如何计算两个句子之间的相似度（句法和语义）...
weixin_39914975的博客
03-19 166
我应该每次取两个句子并计算它们是否相似。我的意思是，在语法和语义上都是这样。如何计算两个句子之间的相似度(句法和语义)INPUT1：奥巴马签署法律。奥巴马签署了一项新法律。INPUT2： 总线停在这里。 车辆停在这里。INPUT3：纽约的火灾。 纽约被烧毁。INPUT4：在纽约的火灾。在纽约大火中死亡50人。我不想用本体树作为灵魂。我写了一个代码来计算句子之间Levenshtein distanc...
中文语义倾向代码java_利用HanLP计算中文词语语义类似度
weixin_31597881的博客
02-28 138
HanLP官方GitHub地址在java项目中配置HanLP推荐使用Maven方法在poem.xml中加入如下代码gitcom.hankcshanlpportable-1.3.3可是在AndroidStudio中，没有Maven，因此在build.gradle的dependencies中加入以下代码githubcompile "com.hankcs:hanlp:portable-1.3.3"还能够...
语义相关度计算代码阅读—毕业设计啊，希望有大牛来指导
leoshime的专栏
11-09 460
System.getProperty("user.dir") ;//取得当前主机存放项目的绝对路径 接口可以扩充接口，即所谓的接口继承。  interface   a   {          void   showMe();  }  interface   b   extends   a   {          void   hideMe();  }  St
MATLAB关于余弦相似度的代码
bosong的博客
05-05 5451
n_row = size(A,1); norm_r = sqrt(sum(abs(A).^2,2)); % same as norm(A,2,'rows') B = zeros(n_row,n_row); for i = 1:n_row for j = i:n_row B(i,j) = dot(A(i,:), A(j,:)) / (norm_r(i) * norm_r(j)); B(j,i) = B(i,j); end end 如果大家有了解改进的余弦相似度的，欢迎交流哈~ ...
正态云 matlab代码_正态云模型
fffulfil的博客
02-28 634
正态云 matlab代码
matlab相似度计算代码
最新发布
04-04
当涉及到计算两个数据集或者向量之间的相似度时，MATLAB提供了多种方法和函数。以下是一种常见的相似度计算方法的示例代码： ```matlab % 数据集1 data1 = [1, 2, 3, 4, 5]; % 数据集2 data2 = [2, 4, 6, 8, 10]; ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值