- 博客(6)
- 收藏
- 关注
RSS订阅原创 sc.textFiles() 与 sc.wholeTextFiles() 的区别及使用
众所周知，sc.textFiles(path)能将path 里的所有文件内容读出，以文件中的每一行作为一条记录的方式：>>> textFile = sc.textFile(path)>>> textFile.collect()'Hello world!' 文件的每一行 相当于 列表 的一个元素，因此可以在每个par...
2019-05-19 21:44:36
3574
原创 spark ml 归一化操作完整版
话不多说，上代码 val docTopicData = sc.textFile("src\\main\\resources\\model\\111.txt", 1) .map(s => Vectors.dense(s.split(' ').map(_.toDouble))) import spark.implicits._ val docTopicDF = do...
2019-05-11 21:22:05
567
转载 Breeze库API总结(Spark线性代数库)
导入import breeze.linalg._import breeze.numerics._Breeze创建函数: 操作名称 Breeze函数 对应Numpy函数 全0矩阵 DenseMatrix.zeros[Double](2,3) zeros((2,3)) 全0向量 DenseVector.zeros[D...
2019-05-11 10:00:59
777
转载 spark向量矩阵的使用（scala）
向量和矩阵都是做机器学习的基础，下面来介绍下使用spark的底层的向量和矩阵是基于Breeze的,下面主要介绍下Breeze的使用，下面直接给代码，代码上有注释需要引入的包 import breeze.linalg._ import breeze.numerics._ import org.apache.log4j.{Level, Logger} ...
2019-05-11 09:59:42
1128
原创 spark读取文件转换为矩阵
假设文件中数据的保存格式为：每行为一个样本数据，并由‘，’分隔。如：a.txt 1，2，3，4，5，6 9，3，4，5，7，7 5，2，5，2，7，8第一步：读取数据并切分，将每行数据从String转换成Array；此时，data的数据类型为RDD[Array[T]] data = sc.textFile("a.txt").map(_.split("\\s+")第二步...
2019-05-11 09:57:07
1617
转载 JVM内存划分
1. 概述2. 运行时数据区域2.1 程序计数器2.2 Java虚拟机栈2.3 本地方法栈2.4 Java堆2.5 方法区2.6 补充2.6.1 运行时常量池和Class文件常量池2.6.2 直接内存3. HotSpot虚拟机3.1 内存划分3.2 对象的创建、内存布局、访问定位3.2.1 对象的创建3.2.2 对象的内存布局3.2.3...
2019-05-02 20:55:13
112
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人