spark
水裕月
只要找对方向,一切都不算太晚
展开
-
spark on yarn cluster 与 client 模式的区别
Spark支持可插拔的集群管理模式(Standalone、Mesos以及YARN ),集群管理负责启动executor进程,编写Spark application 的人根本不需要知道Spark用的是什么集群管理。Spark支持的三种集群模式,这三种集群模式都由两个组件组成:master和slave。Master服务(YARN ResourceManager,Mesos master和Spark standalone转载 2017-07-13 08:47:42 · 1936 阅读 · 0 评论 -
scala实现超限学习机(ELM)手写数字分类
超限学习机(Extreme Learning Machine)又叫极限学习机是黄广斌等于2006年提出,属于单隐层前馈神经网络SLFN。其输入权值和隐层阈值随机初始化,通过最小二乘法计算得出输出权值,具有很好的分类和回归性能,与其它机器学习算法相比最大的优势是计算速度快,因为ELM不需要进行迭代。现将实现ELM的scala代码贴出,亲测运行成功,由于内存限制,在本地最高只能运行到900个隐层结原创 2017-09-03 14:38:57 · 833 阅读 · 0 评论 -
scala如何从文件读取数据并转换成矩阵
本文教你scala如何从文件中读取数据并转换成Breeze矩阵假设文件中数据的保存格式为:每行为一个样本数据,并由‘,’分隔。如:a.txt 1,2,3,4,5,6 2,3,4,5,6,7 3,4,5,6,7,8第一步:读取数据,将每行数据从String转换成Arrayval data = sc.textFile("a.txt")原创 2017-09-03 14:10:50 · 5262 阅读 · 0 评论