u012022003的专栏

碰到数组不存在那一项，然后不得不进行判断，怎么办？？

RDD转成DataFrame一直报错，缺下图中两行代码！

Spark中MLlib库中集成有计算TF_IDF的方法，其输出结果的含义如下： 疑问： 1、输出的TF值并不是词频，，而是词数（注意词频和词数的区别）

scala中 .map()方法的三种案例，能可以说明的问题：  1、T.map()  => T  2、只有RDD.map()  是懒操作，，其他不是

欢迎使用Markdown编辑器写博客首先添加依赖://注意后面的provided,缺少会报包冲突的错误 libraryDependencies += "org.apache.hadoop" % "hadoop-hdfs" % "2.7.2"%"provided" import org.apache.hadoop.fs.{FileSystem, FileUtil, Path}val hdfsPath

变态的spark sql  解决方案：版本！！！！！！

def main(args: Array[String]): Unit = { val aMap = new scala.collection.mutable.HashMap[String, Double] val a = Array("A", "B", "C", "D") val b = Array(4, 5, 8, 9) for(i <- a.indices){

背景：跑时间序列模型报错环境：scala 2.11 + spark 2.0报错：java.lang.NoSuchMethodError: breeze.linalg.DenseVector$.canSetD()...........解决：(1) 经查，同一个包的两个版本均存在，即breeze_2.10 和 breeze_2.11，但其中breeze_2.10被exclude掉(2) 查breez_...