spark
菜园小火车
这个作者很懒,什么都没留下…
展开
-
安装spark集群
sparkhadoop无密码登录原创 2015-12-20 15:05:38 · 580 阅读 · 0 评论 -
spark-hadoop问题记录
spark-hadoop问题记录spark-hadoop问题记录WARN NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable http://www.cnblogs.com/gpcuster/archive/2原创 2015-12-23 15:18:17 · 429 阅读 · 0 评论 -
spark 协同过滤 (翻译)
spark 协同过滤协同过滤是一个常用的推荐算法。这些技术用于填充一个user-item的关联矩阵的缺失项。spark.mllib目前支持基于模型的协同过滤,用户和产品能被一组比较小的潜在因素描述,那样算法就可以来预测缺失的项目。spark.mllib使用最小二乘法(ALS)来学习潜在因素。翻译 2016-04-21 23:13:38 · 2338 阅读 · 1 评论 -
贝叶斯 spark-mlib(翻译)
贝叶斯 spark-mlib贝叶斯是一个简单的多分类算法,它假设各个特征是独立的。贝叶斯算法可以被有效的训练。在训练数据的过程中,它计算每个特征标签的条件概率分布,然后通过贝叶斯定理来计算法特征标签的条件概率,并用它来预测概率。翻译 2016-04-24 15:06:22 · 1546 阅读 · 0 评论 -
Run Spark on Yarn (翻译)
[TOC] 原文地址:http://spark.apache.org/docs/latest/running-on-yarn.html spark在0.6.0及以后的版本支持部署在Yarn模式下Hadoop nextgen 在Yarn模式下部署Spark首先保证HADOOP_CONF_DIR和YARN_CONF_DIR 指向的文件夹包含hadoop集群的 配置文件。这些配置文件用于写HDFS翻译 2016-04-20 21:49:48 · 7773 阅读 · 0 评论