spark
文章平均质量分 84
四木夕宁
这个作者很懒,什么都没留下…
展开
-
Spark1.5.2安装--Spark学习(基础)
一直想学习着写博客做个备忘,但是一直懒也没有开始做,终于最近虚拟机的东西太多了想重新装一个虚拟机,由于自己是学数据挖掘的,就写一篇关于单机版spark的安装攻略来练练手。安装包准备spark原理什么的这里就不介绍了,有问题大家最好参考官方文档,网址为:这里写链接内容。 本次安装主要用到的安装包如下: 1.spark-1.5.2-bin-hadoop2.6.tgz 2.hadoo原创 2015-12-03 21:17:33 · 2636 阅读 · 0 评论 -
IDEA部署Spark1.5.2开发环境--Spark学习(基础)
一、安装包1.ideaIC-15.0.1.tar.gz(社区版本免费) 2.scala-2.10.4.tgz切记scala版本选择要与官网一致,不然要出错(刚开始学习的时候在这里卡了很久) 二、scala安装1.解压scala的gz安装包tar zxvf scala-2.10.4/sudo mv scala-2.10.4/ /opt/2.环境变量配置用vim打开/etc/profile添加配置原创 2015-12-07 21:42:25 · 1647 阅读 · 0 评论 -
MLlib分类算法实战演练--Spark学习(机器学习)
因为自身原因最近再学习spark MLlib,看的教材是《spark机器学习》,感觉这本书偏入门并且有很多实操,非常适合新手。下面就是我在学习到第五章关于分类算法的一些要点,最要是通过代码实操,具体算法原理就不介绍。一、数据来源及开发环境开发环境:为了方便代码管理这里使用了IDEA集成开发环境,单机进行代码调试感觉很方便嘛,主要环境与我前两篇博客中部署的环境一致。数据源:机原创 2015-12-12 20:39:31 · 6278 阅读 · 5 评论 -
MLlib回归算法(线性回归、决策树)实战演练--Spark学习(机器学习)
最近太忙,自己的机器学习进度耽误了两个星期,现在才把回归这一章看完。闲话不多说,本篇文章依旧是《Spark机器学习》中的内容。书上的代码全部是用python写的,但是由于我最近一直使用的是Scala,所以本篇博客使用的是scala,当然这样就没法像书中那样画图了。 第六章将的是回归算法,主要用到的是线性回归与决策树算法,老规矩这里不讲原理(主要是自己讲不清楚),想知道原理的建议参考Andrew N原创 2015-12-21 21:59:49 · 19213 阅读 · 6 评论