利用anjs新闻关键词的抓取

最新推荐文章于 2024-08-03 15:58:00 发布
最新推荐文章于 2024-08-03 15:58:00 发布
阅读量1.2k 收藏
点赞数
分类专栏： anjs 文章标签： github 新闻 anjs

之前已经提到过使用FudanNLP进行新闻关键词提取，无奈组长不满意于是换成了ictclas，在我的ubuntu13.04上面ictclas跑得很好，可惜到别人的机器上就报错，没办法，只好再一次换工具，经过晓阳童鞋推荐，这次换成了ANSJ，据说这个工具就是早先ictclas的Java版本。

这个工具的Github地址是这里：https://github.com/ansjsun/ansj_seg 需要看源码的自己前往。下面说说如何使用这个工具提取关键词。

1-下载JAR包

显然下载JAR包是最省事的方法，当然你也可以把Github上面的工程加进来，无奈JAR包找了好久未找到，最后只好向作者索取，目前已经上传到CSDN了，欢迎下载：http://download.csdn.net/detail/jj12345jj198999/6020541

2-自定义keyword类

虽然ANSJ中已经实现了关键词提取，不过输出时并没有给出每一个关键词的权重，于是只好手动修改keyword类，好在Github上面的源码中已经定义了权重成员，我们只需要增加一个Get函数即可。

[java]  view plain  copy
 print ?
  1. public class Keyword implements Comparable<Keyword> {  
  2.     private String name;  
  3.     private double score;  
  4.     private double idf;  
  5.     private int freq;  
  6.   
  7.     public Keyword(String name, int docFreq, int weight) {  
  8.         this.name = name;  
  9.         this.idf = Math.log(10000 + 10000.0 / (docFreq + 1));  
  10.         this.score = idf * weight;  
  11.         freq++;  
  12.     }  
  13.     public void updateWeight(int weight) {  
  14.         this.score += weight * idf;  
  15.         freq++;  
  16.     }  
  17.     public int compareTo(Keyword o) {  
  18.         if (this.score < o.score) {  
  19.             return 1;  
  20.         } else {  
  21.             return -1;  
  22.         }  
  23.   
  24.     }  
  25.     public boolean equals(Object obj) {  
  26.         // TODO Auto-generated method stub  
  27.         if (obj instanceof Keyword) {  
  28.             Keyword k = (Keyword) obj;  
  29.             return k.name.equals(name);  
  30.         } else {  
  31.             return false;  
  32.         }  
  33.     }  
  34.     public String toString() {  
  35.         return name;  
  36.     }  
  37.     //look here ******************************************************  
  38.     public double getScore(){  
  39.         return score;  
  40.     }  
  41.     public int getFreq() {  
  42.         return freq;  
  43.     }  
  44.   
  45. }  

除了这个之外，我们还需要原封不动地把keywordcomputer类重抄一遍，随叫这两个类息息相关呢，要么都在JAR中要么就一起跳出来。对于这个类，实在不知道计算keyword时为何要知道title的长度，作者告诉我这不是他写的也不知道缘由，我猜Github上面添加这个模块的人肯定认为出现在标题中的词需要赋予较大的权重吧，也许这个想法是对的。

[java]  view plain  copy
 print ?
  1. import java.util.ArrayList;  
  2. import java.util.Collection;  
  3. import java.util.HashMap;  
  4. import java.util.List;  
  5. import java.util.Map;  
  6. import java.util.TreeSet;  
  7.   
  8. import org.ansj.app.newWord.LearnTool;  
  9. import org.ansj.domain.Term;  
  10. import org.ansj.recognition.NatureRecognition;  
  11. import org.ansj.splitWord.analysis.NlpAnalysis;  
  12.   
  13. public class KeyWordComputer {  
  14.     private int nKeyword = 10;  
  15.     //default constructor keyword number=10  
  16.     public KeyWordComputer() {  
  17.         nKeyword = 10;  
  18.     }  
  19.     // constructor set keyword number  
  20.     public KeyWordComputer(int nKeyword) {  
  21.         this.nKeyword = nKeyword;  
  22.   
  23.     }  
  24.     //get keywords object list  
  25.     private List<Keyword> computeArticleTfidf(String content, int titleLength) {  
  26.         Map<String, Keyword> tm = new HashMap<String, Keyword>();  
  27.         LearnTool learn = new LearnTool();  
  28.         List<Term> parse = NlpAnalysis.parse(content, learn);  
  29.         parse = NlpAnalysis.parse(content, learn);  
  30.         for (Term term : parse) {  
  31.             int weight = getWeight(term, content.length(), titleLength);  
  32.             if (weight == 0)  
  33.                 continue;  
  34.             Keyword keyword = tm.get(term.getName());  
  35.             if (keyword == null) {  
  36.                 keyword = new Keyword(term.getName(), term.getNatrue().allFrequency, weight);  
  37.                 tm.put(term.getName(), keyword);  
  38.             } else {  
  39.                 keyword.updateWeight(1);  
  40.             }  
  41.         }  
  42.         TreeSet<Keyword> treeSet = new TreeSet<Keyword>(tm.values());  
  43.         ArrayList<Keyword> arrayList = new ArrayList<Keyword>(treeSet);  
  44.         if (treeSet.size() < nKeyword) {  
  45.             return arrayList;  
  46.         } else {  
  47.             return arrayList.subList(0, nKeyword);  
  48.         }  
  49.     }  
  50.     //get keywords,need title and content  
  51.     public Collection<Keyword> computeArticleTfidf(String title, String content) {  
  52.         return computeArticleTfidf(title + "\t" + content, title.length());  
  53.     }  
  54.     //get keywords, just need content  
  55.     public Collection<Keyword> computeArticleTfidf(String content) {  
  56.         return computeArticleTfidf(content, 0);  
  57.     }  
  58.     //get keywords weight  
  59.     private int getWeight(Term term, int length, int titleLength) {  
  60.         if (term.getName().matches("(?s)\\d.*")) {  
  61.             return 0;  
  62.         }  
  63.         if (term.getName().trim().length() < 2) {  
  64.             return 0;  
  65.         }  
  66.         String pos = term.getNatrue().natureStr;  
  67.         if (!pos.startsWith("n") || "num".equals(pos)) {  
  68.             return 0;  
  69.         }  
  70.         int weight = 0;  
  71.         if (titleLength > term.getOffe()) {  
  72.             return 20;  
  73.         }  
  74.         // position  
  75.         double position = (term.getOffe() + 0.0) / length;  
  76.         if (position < 0.05)  
  77.             return 10;  
  78.         weight += (5 - 5 * position);  
  79.         return weight;  
  80.     }  
  81. }  


3-test

最后就是写一个类测试，import一堆东西

[java]  view plain  copy
 print ?
  1. import java.util.List;  
  2. import java.io.BufferedReader;  
  3. import java.io.FileInputStream;  
  4. import java.io.IOException;  
  5. import java.io.InputStreamReader;  
  6. import java.io.StringReader;  
  7. import java.util.Iterator;  
  8.   
  9. import org.ansj.app.newWord.LearnTool;  
  10. import org.ansj.domain.Term;  
  11. import org.ansj.recognition.NatureRecognition;  
  12. import org.ansj.splitWord.Analysis;  
  13. import org.ansj.splitWord.analysis.NlpAnalysis;  
  14. import org.ansj.splitWord.analysis.ToAnalysis;  
  15. import org.ansj.util.*;  
  16. import org.ansj.recognition.*;  
  17.   
  18.   
  19. public class test {  
  20.     public static void main(String[] args) throws IOException {  
  21.         String filePath = "./test-utf8.TXT";  
  22.         String tt=new String();  
  23.         BufferedReader in = new BufferedReader(new InputStreamReader(new FileInputStream(filePath), "UTF8"));  
  24.         String str;  
  25.         while ((str = in.readLine()) != null) {  
  26.             tt+=str;  
  27.         }  
  28.        test1(tt);  
  29.          
  30.        System.out.println("*************************");  
  31.        filePath = "./test1.txt";  
  32.        BufferedReader in2 = new BufferedReader(new InputStreamReader(new FileInputStream(filePath), "UTF8"));  
  33.        String str2;  
  34.        String tt2=new String();  
  35.        while ((str2 = in2.readLine()) != null) {  
  36.             tt2+=str2;  
  37.        }  
  38.        test1(tt2);  
  39.          
  40.     }  
  41.       
  42.     public static void test1(String content){  
  43.         KeyWordComputer key=new KeyWordComputer(10);  
  44.         Iterator it = key.computeArticleTfidf(content).iterator() ;  
  45.         while(it.hasNext()) {  
  46.             Keyword key2=(Keyword)it.next();  
  47.             System.out.println(key2.toString()+key2.getScore());      
  48.         }    
  49.     }  
  50. }  

在测试时有一点需要注意，ANSJ目前只支持UTF-8格式的字符串，其他格式的运行时会报JAVA GC错误，作者说因为处理过程中是乱码，程序以为都是新词导致内存崩溃了，希望他在以后的版本中加以改进吧。最后给出输出结果，这里是按照权重排序的：

[plain]  view plain  copy
 print ?
  1. init ambiguity  waring :library/ambiguity.dic because : not find that file or can not to read !  
  2. init core library ok use time :3983  
  3. init ngram ok use time :2023  
  4. 屌丝528.8693014046396  
  5. 李毅202.62858475668492  
  6. 网络174.9965471938941  
  7. 球迷110.52413506982782  
  8. 群体110.52413506982782  
  9. 人人110.52413506982782  
  10. 名号101.31379048067551  
  11. 高富帅92.10390216212956  
  12. 满屏92.10390216212954  
  13. 网友92.1034458915232  
  14. *************************  
  15. 社会主义1446.0241004969153  
  16. 社会1326.289620837935  
  17. 中国1096.0347881537828  
  18. 人民1049.9792831633652  
  19. 文化874.9827359694709  
  20. 经济874.9827359694709  
  21. 特色847.3517022020139  
  22. 制度801.2999792562523  
  23. 体系746.0379117213383  
  24. 国家598.6723982949011  





如果

List<Term> parse = NlpAnalysis.parse(content,learn);

报错，说明你除了导入上面地址的jar还导入了其他anjs的jar需要删除

淘技术
关注
专栏目录
利用Ansj进行新闻关键词提取
jffyuhgv的博客
11-05 489
利用Ansj进行新闻关键词提取
python爬虫关键词抓手机号_通过Python爬虫按关键词抓取相关的新闻
weixin_39860166的博客
02-04 1089
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。如今各大网站的反爬机制已经可以说是到了丧心病狂的程度，比如大众点评的字符加密、微博的登录验证等。相比较而言，新闻网站的反爬机制就要稍微弱一点。因此今天以新浪新闻为例，分析如何通过Python爬虫按关键词抓取相关的新闻。首先，如果从新闻直接进行搜索，你会发现其内容最多显示20页，...
ansj分词、关键词匹配
07-31
springMVC+ansj中文分词+多线程+mybatis+redis+多库等等
利用ANSJ进行文本关键词提取
10-17 4828
之前已经提到过使用FudanNLP进行新闻关键词提取，无奈组长不满意于是换成了ictclas，在我的ubuntu13.04上面ictclas跑得很好，可惜到别人的机器上就报错，没办法，只好再一次换工具，经过晓阳童鞋推荐，这次换成了ANSJ，据说这个工具就是早先ictclas的JAVA版本。 这个工具的Github地址是这里：https://github.com/ansjsun/ansj_seg 
【Python】爬取网易新闻今日热点列表数据并导出
最新发布
明静致远
08-03 1285
免责声明：文章仅供学习使用！
通过ansj的手机关键词分析提取
qq_41926345的博客
03-12 379
这里欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑...
文本关键词提取：ansj
沛哥儿的专栏
06-24 518
因为文本内容里面，需要提取出关键词给到seo作关键词。同时内容是中文的，需要找个对应的中文分词和提取工具。根据官方介绍，感觉还是比较厉害的样子。 使用 maven 然后传入文本进行调用。调用代码只有以下两行 提取例子 参考：https://github.com/NLPchina/ansj_seg/wiki/%E5%85%B3%E9%94%AE%E8%AF%8D%E6%8A%BD%E5%8F%96https://github.com/NLPchina/ansj_seg/wiki/%E5%
按关键词抓取电话号码精准度80%
12-24
带关键词抓取各种信息资源
通过Python爬虫按关键词抓取相关的新闻
热门推荐
Python免费教程
06-27 1万+
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途 如今各大网站的反爬机制已经可以说是到了丧心病狂的程度，比如大众点评的字符加密、微博的登录验证等。相比较而言，新闻网站的反爬机制就要稍微弱一点。因此今天以新浪新闻为例，分析如何通过Python爬虫按关键词抓取相关的新闻。 首先，如果从新闻直接进行搜索，你会发现其内容最多显示20页，因此我们要从新浪的首页进行搜索，这样才没有页数的限制。 网页结构分析 <div class="pagebox" id="_function_code.
如何用我python抓取关键字新闻_用python机器学习实现新闻关键词的抽取
weixin_39861669的博客
11-30 1129
随着互联网的蓬勃发展，手机移动端和网络的逐渐普及，传播的权利下放到每个公民，“公民新闻”应运而生，每个公民成为记者，都能通过网络发出自己的声音。随着新闻传播门槛的降低，网上的信息愈加鱼龙混杂，如何有效在海量信息中获取自己感兴趣的和需要的成为另一个难题，如何在大量的新闻文本中提取出关键信息变得越来越重要。本案例将使用Python实现新闻关键词的提取。机器学习竞赛优胜解决方案实战​wx7dcc75bb...
python 关键词 抓取网页_python网络爬虫爬取网页内容
weixin_42305992的博客
02-03 4089
1.什么是网络爬虫？网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。换言之，如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物(数据)爬虫指的是：向网站发起请求，获取资源后分析并提取...
毕业设计-基于Ansj中文分词技术的关键词抽取以及网络爬虫技术的简易搜索引擎（java）
12-05
毕业设计——基于Ansj中文分词技术的关键词抽取以及网络爬虫技术的简易搜索引擎（java）
java提取文章关键字
11-24
java提取文章关键字，可随意更改提取关键字的个数、规则，内置jar包，下载即可运行
js自动提取文章关键词
05-19
js自动提取文章关键词，针对输入框的文字
提取关键词（Java版）
08-18
Java编写的提取一篇文章中的关键词的程序，使用TF-IDF算法提取文章中的关键词，使用Java原生sdk实现，可以运行。
中文分词+自动提取关键字
04-13
1：中文分词 2：词频统计 3：罗列出要自动提取的关键字 ---------------------------------------- 具有60 万字/秒的高速处理能力。
ansj分词算法关键词提取规则
woshixiaoxiamidiyi的博客
08-18 3121
ansj分词算法关键词提取规则
一文读懂如何用LSA、PSLA、LDA和lda2vec进行主题建模
hellozhxy的博客
06-11 4103
选自 Medium，作者：Joyce X，机器之心编译。本文是一篇关于主题建模及其相关技术的综述。文中介绍了四种最流行的技术，用于探讨主题建模，它们分别是：LSA、pLSA、LDA，以及最新的、基于深度学习的 lda2vec。在自然语言理解任务中，我们可以通过一系列的层次来提取含义——从单词、句子、段落，再到文档。在文档层面，理解文本最有效的方式之一就是分析其主题。在文档集合中学习、识别和提取这些...
python抓取新闻关键词
07-02
在Python中抓取新闻关键词通常涉及到网络爬虫技术，使用库如BeautifulSoup、Scrapy或requests等配合正则表达式来解析HTML文档。以下是一个简单的步骤概述： 1. **安装必要的库**：首先确保已安装`requests`库用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值