Spark MLib
文章平均质量分 81
A3301
这个作者很懒,什么都没留下…
展开
-
Spark机器学习库(MLlib)指南
我们推荐您使用spark.ml,因为基于DataFrames的API更加的通用而且灵活。不过我们也会继续支持spark.mllib包。用户可以放心使用,spark.mllib还会持续地增加新的功能。不过开发者需要注意,如果新的算法能够适用于机器学习管道的概念,就应该将其放到spark.ml包中,如:特征提取器和转换器。下面的列表列出了两个包的主要功能。spark.mllib: 数据转载 2016-11-19 11:55:21 · 785 阅读 · 0 评论 -
Apache Spark 2.0: 机器学习模型持久化
在即将发布的Apache Spark 2.0中将会提供机器学习模型持久化能力。机器学习模型持久化(机器学习模型的保存和加载)使得以下三类机器学习场景变得容易:数据科学家开发ML模型并移交给工程师团队在生产环境中发布;数据工程师把一个Python语言开发的机器学习模型训练工作流集成到一个Java语言开发的机器学习服务工作流;数据科学家创建多个训练ML模型的作业转载 2016-11-19 11:59:27 · 4782 阅读 · 0 评论 -
使用Spark MLlib训练和提供自然语言处理模型
Idibon位于旧金山的一家专注于自然语言处理(NLP)的创业公司。从海量非结构化数据中识别关键信息或是定制化实时交互是一些可以说明客户如何利用我们Idibon的技术的例子。Spark ML和MLlib中的机器学习库使得我们可以创建一个自适应的机器智能环境,可以分析任何语言的文本,而且是远超过Twitter每秒产生的单词数量规模的文本量。我们的团队建立了一个平台,它在分布式环境下训练并提供转载 2016-11-19 12:16:31 · 1832 阅读 · 0 评论