![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp
文章平均质量分 64
dqz_nihao
这个作者很懒,什么都没留下…
展开
-
John Snow 的Spark NLP 中Transformers
John Snow 的Spark NLP 中Transformers 1.DocumentAssembler:获取数据 可设置的参数有: setInputCol():设置输入列() setOutputCol():设置输出列() setIdCol() -> OPTIONAL: 带有 id 信息的 Sring 类型列 setMetadataCol() -> OPTIONAL: 可选:具有元数据信息的映射类型列 setCleanupMode(disabled) -> 清理选项,可能的值: d原创 2021-07-03 16:10:13 · 219 阅读 · 0 评论 -
Spark NLP的一些基础方法
Spark NLP的一些基础方法 1.DocumentAssembler:获取数据 为了通过 NLP 过程,我们需要对原始数据进行注释。有一个特殊的转换器可以为我们执行此操作:DocumentAssembler,它创建了第一个Document类型的注释。 val documentAssembler = new DocumentAssembler(). setInputCol("text"). setOutputCol("document") 2.Sentence detection and token原创 2021-07-03 15:44:22 · 751 阅读 · 0 评论