- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark升级到2.0后测试stream-kafka测试报java.lang.NoClassDefFoundError: org/apache/spark/Logging错误
- 最近从Spark 1.5.2升级到2.0之后，运行测试代码spark-stream-kafka报以下错误：java.lang.NoClassDefFoundError: org/apache/spark/Logging at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defi
2016-09-21 16:28:51
15664
53
原创 Spark命令行测试转换RDD to DataFrame报Relative path in absolute URI错误-Win7
无聊玩了一下Spark命令行模式的命令，测试读写Parquet格式的操作，发现执行personRDD.toDF时候报以下错误：org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadat
2016-09-14 16:32:23
3587
原创 Spark下载和配置-Win7
-下载下载页面的link：http://spark.apache.org/downloads.html1，Choose a Spark release 选择需要下载的Spark版本，我这里使用最新的版本2，Choose a package type 选择需要下载的类型，因为我已经安装了Hadoop 2.6版本的，所以我选择对应的Pre-built for Hadoop
2016-09-09 14:37:31
3036
spark-core_2.11-1.5.2.logging.jar
2016-11-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人