spark
文章平均质量分 57
iteye_4103
这个作者很懒,什么都没留下…
展开
-
APACHE SPARK: RDD, DATAFRAME OR DATASET?
[from] http://www.agildata.com/apache-spark-rdd-vs-dataframe-vs-dataset/ There Are Now 3 Apache Spark APIs. Here’s How to Choose the Right One See Apache Spark 2.0 API Improvements: RDD, Da...原创 2017-02-08 09:24:12 · 204 阅读 · 0 评论 -
[解決] java.lang.ClassNotFoundException:$$anonfun$1
在使用idea + maven 進行spark app 本地(windows)開發的過程中,遇到了java.lang.ClassNotFoundException:$$anonfun$1 . val conf = new SparkConf conf.setMaster(spark://<ip>:7077) 經過查閲資料,發現引起這個問題的原因是因爲j...原创 2017-03-27 11:45:53 · 1303 阅读 · 0 评论 -
[解決] Spark run on yarn (spark2-hdp-yarn-archive.tar.gz)
最近在yarn 上運行spark 遇到一個奇怪的問題: Diagnostics: ExitCodeException exitCode=2: gzip: /spare/hadoop/yarn/local/filecache/21_tmp/tmp_spark2-hdp-yarn-archive.tar.gz: unexpected end of file tar: This does...原创 2017-03-28 11:38:40 · 622 阅读 · 0 评论