CountVectorizer和CountVectorizerModel用来把文本文档的集合转换成token数量的矢量。如果没有字典,CountVectorizer可以抽取vocabulary(词汇)生成CountVectorizerModel。该model为文档生成词汇的稀疏表示,然后可以传给其他算法,比如LDA。
public class CountVectorizerDemo {
public static void main(String[] args) {
SparkSession spark = SparkSession.builder()
.master("local")
.appName("CountVectorizer")
.getOrCreate();
List<Row> data = Arrays.asList(
RowFactory.create(0, Arrays.asList("Jason", "David")