大数据分词功能--提取文章中关键字

废话不多说，直接上代码

1、由于分词IKAnalyzer包可能需要外网才能获取，经多处查找资料需要在maven工程中pom.xml需要加入

        <dependency>
            <groupId>com.jianggujin</groupId>
            <artifactId>IKAnalyzer-lucene</artifactId>
            <version>8.0.0</version>
        </dependency>

2、导入分词工具包：

import org.apache.lucene.analysis.TokenStream;
import org.wltea.analyzer.lucene.IKAnalyzer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;

3、代码：

		String keyWord = "";
        //keyWord = executeExtractSql(conn,returnCol,resourceObj,conidtion);//获取字符串
        Map rowData = new HashMap();
        keyWord = "雨是最寻常的，一下就是三两天。可别恼。看，像牛毛，像花针，像细丝，密密地斜织着，人家屋顶上全笼着一层薄烟。树叶儿却绿得发亮，小草儿也青得逼你的眼。傍晚时候，上灯了，一点点黄晕的光，烘托出一片安静而和平的夜。在乡下，小路上，石桥边，有撑起伞慢慢走着的人，地里还有工作的农民，披着蓑戴着笠。他们的房屋，稀稀疏疏的在雨里静默着。" ;
        String [] keywords = getKeyWords(keyWord);
        keyWord = "";
        for(int i=0; i<keywords.length; i++){
            keyWord += keywords[i] + "，";
            System.out.println(keywords[i]);
        }
		return keyWord;//返回拼接后的高频率词
		
 /** 获取关键字个数 */
    private final static Integer NUM=5;
    /** 截取关键字在几个单词以上的数量 */
    private final static Integer QUANTITY=1;
    /**
     * 传入String类型的文章，智能提取单词放入list中
     * @param article
     * @param a
     * @return
     * @throws IOException
     */
    private static List<String> extract(String article,Integer a)throws IOException{
        List<String> list =new ArrayList<String>(); //定义一个list来接收将要截取出来单词
        IKAnalyzer analyzer = new IKAnalyzer(); //初始化IKAnalyzer
        analyzer.setUseSmart(true); //将IKAnalyzer设置成智能截取
        TokenStream tokenStream= //调用tokenStream方法(读取文章的字符流)
                analyzer.tokenStream("", new StringReader(article));
        tokenStream.reset();
        while (tokenStream.incrementToken()) { //循环获得截取出来的单词
            CharTermAttribute charTermAttribute = //转换为char类型
                    tokenStream.getAttribute(CharTermAttribute.class);
            String keWord= charTermAttribute.toString(); //转换为String类型
            if (keWord.length()>a) { //判断截取关键字在几个单词以上的数量(默认为2个单词以上)
                list.add(keWord); //将最终获得的单词放入list集合中
            }
        }
        tokenStream.end();
        tokenStream.close();
        return list;
    }
    /**
     * 将list中的集合转换成Map中的key，value为数量默认为1
     * @param list
     * @return
     */
    private static Map<String, Integer> list2Map(List<String> list){
        Map<String, Integer> map=new HashMap<String, Integer>();
        for(String key:list){ //循环获得的List集合
            if (list.contains(key)) { //判断这个集合中是否存在该字符串
                map.put(key, map.get(key) == null ? 1 : map.get(key)+1);
            } //将集中获得的字符串放在map的key键上
        } //并计算其value是否有值，如有则+1操作
        return map;
    }
    /**
     * 提取关键字方法
     * @param article
     * @param a
     * @param n
     * @return
     * @throws IOException
     */
    public static String[] getKeyWords(String article,Integer a,Integer n) throws IOException {
        List<String> keyWordsList= extract(article,a); //调用提取单词方法
        Map<String, Integer> map=list2Map(keyWordsList); //list转map并计次数
        //使用Collections的比较方法进行对map中value的排序
        ArrayList<Entry<String, Integer>> list = new ArrayList<Entry<String,Integer>>(map.entrySet());
        Collections.sort(list, new Comparator<Map.Entry<String, Integer>>() {
            public int compare(Map.Entry<String, Integer> o1, Map.Entry<String, Integer> o2) {
                return (o2.getValue() - o1.getValue());
            }
        });
        if (list.size()<n) n=list.size(); //排序后的长度，以免获得到null的字符
        String[] keyWords=new String[n]; //设置将要输出的关键字数组空间
        for(int i=0; i< list.size(); i++) { //循环排序后的数组
            if (i<n) { //判断个数
                keyWords[i]=list.get(i).getKey(); //设置关键字进入数组
            }
        }
        return keyWords;
    }
    /**
     *
     * @param article
     * @return
     * @throws IOException
     */
    public static String[] getKeyWords(String article){
        try{
            return getKeyWords(article,QUANTITY,NUM);
        }catch(Exception e){
            e.printStackTrace();
        }
        return null;
    }

参考文章链接