spark
关注
分享
扫一扫
南宫木java
这个作者很懒，什么都没留下…
展开
-
RDD转成DataFrame报错
RDD转成DataFrame一直报错，缺下图中两行代码！原创 2016-05-20 15:22:52 · 734 阅读 · 0 评论 -
Spark中TF_IDF含义
Spark中MLlib库中集成有计算TF_IDF的方法，其输出结果的含义如下： 疑问： 1、输出的TF值并不是词频，，而是词数（注意词频和词数的区别）原创 2016-05-20 15:33:22 · 472 阅读 · 0 评论 -
scala中.map()方法
scala中 .map()方法的三种案例，能可以说明的问题： 1、T.map() => T 2、只有RDD.map() 是懒操作，，其他不是原创 2016-05-20 15:41:59 · 5075 阅读 · 0 评论 -
spark LDA 训练和预测
原创 2016-05-20 15:44:42 · 1820 阅读 · 0 评论 -
spark sqlContext异常
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/types/DataTypeParser at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(原创 2017-03-14 19:48:36 · 3398 阅读 · 2 评论 -
NoSuchMethodError:org.apache.spark.rdd.RDD.mapPartitionsInternal$default$2()Z
变态的spark sql 解决方案：版本！！！！！！原创 2017-03-16 21:45:44 · 1608 阅读 · 0 评论