- 博客(3)
- 问答 (1)
- 收藏
- 关注
原创 Spark机器学习3
3. Spark上数据的获取、处理与准备3.1 获取公开数据集MovieLens数据集:包含表示多个用户对多部电影的10万次评级数据,也包含电影元数据和用户属性信息。下载数据集,解压unzip ml-100k.zip会创建一个名为ml-100k的文件夹,进入文件夹 cd ml-100k其中重要的文件有u.user(用户属性文件)、u.item(电影元数据)和u.data(用户对电影的评级)
2015-11-18 17:31:56 1856
原创 Spark机器学习5
5. Spark构建分类模型分类是监督学习的一种形式,我们用带有类标记或者类输出的训练样本训练模型。5.1 分类模型的种类Spark中常见的三种分类模型:线性模型、决策树和朴素贝叶斯模型。 线性模型:简单而且相对容易扩展到非常大的数据集决策树:一个强大的非线性技术,训练过程计算量大而且较难扩展,但是在很多情况下性能很好。朴素贝叶斯模型:简单,易训练,并且具有高效和并行的优点
2015-11-02 12:17:23 2039
空空如也
hadoop MapReduce 路径输入
2015-04-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人