NLP标签/关键词-提取工具-java开发

一、简介

旨在帮助用户自动挖掘文本标签,是特征关键词提取工具,工具中集成了TextRank、TF-IDF算法、词跨度(SPAN)算法和LDA主题模型算法。

使用方法:

二、使用方法

2.1.TextRank

2.1.1.理论

参考:https://blog.csdn.net/u012998680/article/details/107713952

2.1.2.调用方法

public static void main(String[] args) {
    String field = "6个小动作 让你秒秒都能瘦     这是一套小动作组成的瘦身操。看过之后你会觉得,原来真的可以无处不在,生活中的任何一个细节,都可以抓紧机会锻炼和减肥的,真是太简单了。       1、 门框斜压收内侧赘肉方法:身体离门框约1步距离,手摸门框下压,左右各3秒钟。      效果:平日运动不到的身体内侧可以得到很好的拉伸。      2、刷杯子瘦手臂 方法:手臂尽量抬高,做刷杯子的动作,换手再做10分钟。      效果:收紧手臂,紧致乳房。      3、 反手拿重物提臀瘦手臂方法:双手在身体后面做提拉重物动作。      效果:一周臀线上升2,手臂纤细2。      4、 读书收腹减腿法方法:坐在椅子上读书的时候双膝之间夹毛巾,保持毛巾不掉下来即可。      效果:收紧肚子、大腿赘肉。      5、开门瘦四肢方法:。双手交换做开拉门的动作;。双脚交换做开拉门的动作。      效果:拉伸四肢赘肉,雕塑四肢线条。        //          6、金鸡独立穿鞋瘦腰 动作:单脚站立做穿鞋的动作。      效果:伸拉腰部赘肉,直接瘦腰。    (实习编辑:李紫嫣)   ";
    List<String> keywords = Demo.textRank(field,10);
    System.out.println("关键词:" + keywords);
}

2.1.3.结果

效果, 动作, 方法, 赘肉, 门框, 手臂, 身体, 小动作, 四肢, 瘦腰

2.2.tf-idf算法

2.2.1.理论:

参考:https://blog.csdn.net/u012998680/article/details/107713952

2.2.2.训练模型

@Test
public void IDFModelFit() throws Exception {
     IDFModelOption option = new IDFModelOption()
			.setMinFrequencey(2)
			.setDir("data/")
			.setModelDir("model/IDF/");
     IDFModel model = new IDFModel(option);
     model.fit();
}

2.2.3.调用方法

@Test
public void ldaTest() throws Exception {
      Option option = new Option()
		.setMetric(Metric.AVERAGE)
		.setStrategies(StrategyMetrics.IDF)
		.setModelOptions(new IDFModelOption())
		.setFilter(MyStopRecognition.getInstance()); 
      LabelHelper helper = new LabelHelper(option).build();
      String str = "6个小动作 让你秒秒都能瘦     这是一套小动作组成的瘦身操。看过之后你会觉得,原来真的可以无处不在,生活中的任何一个细节,都可以抓紧机会锻炼和减肥的,真是太简单了。       1、 门框斜压收内侧赘肉方法:身体离门框约1步距离,手摸门框下压,左右各3秒钟。      效果:平日运动不到的身体内侧可以得到很好的拉伸。      2、刷杯子瘦手臂 方法:手臂尽量抬高,做刷杯子的动作,换手再做10分钟。      效果:收紧手臂,紧致乳房。      3、 反手拿重物提臀瘦手臂方法:双手在身体后面做提拉重物动作。      效果:一周臀线上升2,手臂纤细2。      4、 读书收腹减腿法方法:坐在椅子上读书的时候双膝之间夹毛巾,保持毛巾不掉下来即可。      效果:收紧肚子、大腿赘肉。      5、开门瘦四肢方法:。双手交换做开拉门的动作;。双脚交换做开拉门的动作。      效果:拉伸四肢赘肉,雕塑四肢线条。        //          6、金鸡独立穿鞋瘦腰 动作:单脚站立做穿鞋的动作。      效果:伸拉腰部赘肉,直接瘦腰。    (实习编辑:李紫嫣)   ";
      List<KeywordLabel> labels = helper.predict(str, 10);
      for (KeywordLabel keywordLabel : labels) {
	System.out.println(keywordLabel);
      }
}

2.2.4.结果

门框=3.664074638671668

拉门=3.6097760747158785

穿鞋=3.040698275381654

小动作=2.5687126373035953

四肢=2.5614579554770067

斜压=2.553252568940863

赘肉=2.5139555911034943

重物=2.3745791096209836

杯子=2.3572229308186

读书=2.2068687144082118

手摸=2.1985823826579303 

2.3.词跨度算法

2.3.1.理论:

词跨度是指一个词或者短语字文中首次出现和末次出现之间的距离,词跨度越大说明这个词对文本越重要,可以反映文本的主题。一个词的跨度计算公式如下:

其中,lasti表示词i在文本中最后出现的位置, firsti表示词 i 在文本中第一次出现的位置,sum表示文本中词的总数。

词跨度被作为提取关键词的方法是因为在现实中,文本中总是有很多噪声(指不是关键词的那些词),使用词跨度可以减少这些噪声。

 

2.3.2.调用方法

@Test
public void ldaTest() throws Exception {
      Option option = new Option()
		.setMetric(Metric.AVERAGE)
		.setStrategies(StrategyMetrics.SPAN)
		.setModelOptions(new WordSpanModelOption())
		.setFilter(MyStopRecognition.getInstance());
      LabelHelper helper = new LabelHelper(option).build();
      String str = "6个小动作 让你秒秒都能瘦	  这是一套小动作组成的瘦身操。看过之后你会觉得,原来真的可以无处不在,生活中的任何一个细节,都可以抓紧机会锻炼和减肥的,真是太简单了。       1、 门框斜压收内侧赘肉方法:身体离门框约1步距离,手摸门框下压,左右各3秒钟。      效果:平日运动不到的身体内侧可以得到很好的拉伸。      2、刷杯子瘦手臂 方法:手臂尽量抬高,做刷杯子的动作,换手再做10分钟。      效果:收紧手臂,紧致乳房。      3、 反手拿重物提臀瘦手臂方法:双手在身体后面做提拉重物动作。      效果:一周臀线上升2,手臂纤细2。      4、 读书收腹减腿法方法:坐在椅子上读书的时候双膝之间夹毛巾,保持毛巾不掉下来即可。      效果:收紧肚子、大腿赘肉。      5、开门瘦四肢方法:。双手交换做开拉门的动作;。双脚交换做开拉门的动作。      效果:拉伸四肢赘肉,雕塑四肢线条。        //          6、金鸡独立穿鞋瘦腰 动作:单脚站立做穿鞋的动作。      效果:伸拉腰部赘肉,直接瘦腰。    (实习编辑:李紫嫣) ";
      List<KeywordLabel> labels = helper.predict(str, 20);
      for (KeywordLabel keywordLabel : labels) {
	System.out.println(keywordLabel);
      }
}

2.3.3.结果

赘肉=0.82

效果=0.72

动作=0.58

方法=0.56

拉伸=0.53

身体=0.3

双手=0.28

收紧=0.27

手臂=0.21

四肢=0.16 

2.4.LDA主题模型算法

2.4.1.理论:

参考:https://blog.csdn.net/u012998680/article/details/108853280

2.4.2.训练模型

@Test
public void LDAModelFit() throws Exception {
      LDAModelOption option = new LDAModelOption()
		.setDir("data/") //训练文件
		.setModelDir("model/LDA/")	//模型保存文件夹
		.setModelName("model-final")//模型多次迭代,默认选择最后一轮结果
              		.setNiters(100)//迭代轮次
		.setTwords(20)//top词数
		.setK(100);//主题数量
      LDAModel model = new LDAModel(option);
      model.fit();
}

2.4.3.调用方法

@Test
public void ldaTest() throws Exception {
      Option option = new Option()
		.setMetric(Metric.AVERAGE)
		.setStrategies(StrategyMetrics.LDA)
		.setModelOptions(new LDAModelOption());
      LabelHelper helper = new LabelHelper(option).build();
      String str = "6个小动作 让你秒秒都能瘦     这是一套小动作组成的瘦身操。看过之后你会觉得,原来真的可以无处不在,生活中的任何一个细节,都可以抓紧机会锻炼和减肥的,真是太简单了。       1、 门框斜压收内侧赘肉方法:身体离门框约1步距离,手摸门框下压,左右各3秒钟。      效果:平日运动不到的身体内侧可以得到很好的拉伸。      2、刷杯子瘦手臂 方法:手臂尽量抬高,做刷杯子的动作,换手再做10分钟。      效果:收紧手臂,紧致乳房。      3、 反手拿重物提臀瘦手臂方法:双手在身体后面做提拉重物动作。      效果:一周臀线上升2,手臂纤细2。      4、 读书收腹减腿法方法:坐在椅子上读书的时候双膝之间夹毛巾,保持毛巾不掉下来即可。      效果:收紧肚子、大腿赘肉。      5、开门瘦四肢方法:。双手交换做开拉门的动作;。双脚交换做开拉门的动作。      效果:拉伸四肢赘肉,雕塑四肢线条。        //          6、金鸡独立穿鞋瘦腰 动作:单脚站立做穿鞋的动作。      效果:伸拉腰部赘肉,直接瘦腰。    (实习编辑:李紫嫣)   ";
      List<KeywordLabel> labels = helper.predict(str, 10);
      for (KeywordLabel keywordLabel : labels) {
	System.out.println(keywordLabel);
      }
}

2.4.4.结果

动作=3.8887724510139923

身体=2.661365600884695

运动=2.3764437116685673

双手=1.49493318442435

锻炼=1.469841001945945

手臂=1.0400248680048332

大腿=0.9809437721154729

编辑=0.700652470796032

实习=0.6795867783590948

双脚=0.6585776522809864

 

三、应用分析

四个工具的关键词提取效果其实差距不大,总体来看 TextRank≈SPAN > LDA > TF-IDF,运行速率也无明显差别,可根据项目需求选用(个人推荐TextRank、SPAN,不用训练模型).

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页