SpecialRiot的博客

1.环境准备在Windows下使用Pycharm运行Spark代码_SpecialRiot的博客-CSDN博客2.代码实现分词使用的jieba分词框架，通过分词后进行wordCount操作再对value进行排序，截取前N个。from pyspark import SparkConf,SparkContextimport jiebadef main(sc): textFile = sc.textFile("./word.txt") #分词 一行变多行

在Windows下使用Pycharm运行Spark代码

1.中文分词中文分词选用的是Ansj框架。分词部分使用Java语言封装，由Spark中的flatMap算子调用。分词后根据词性做了筛选。package com.ahn.spark;import org.ansj.domain.Result;import org.ansj.domain.Term;import org.ansj.splitWord.analysis.ToAnalysis;import java.util.*;public class AnsjTest {