spark
文章平均质量分 79
coolljp21
这个作者很懒,什么都没留下…
展开
-
spark不同版本读取csv文件出现的编码问题
昨天在跑的时候发现一个问题,因为在本地的spark版本号为spark 2.4, 集群上的为spark 2.1,代码在spark2.4跑挺好,在spark2.1跑不起来。用sparkSession读完csv文件,对列进行过滤,在spark2.4,可见"is_claim"已经被过滤掉。然鹅,在spark2.1中,此列并无法过滤,赫然在列!究其原因,碰巧无奈在一次打印feature_cols的...原创 2019-02-01 11:24:54 · 1778 阅读 · 0 评论 -
无痛搭建Spark2.1+Scala2.11.8+jdk1.8+IntelliJ的环境
前言最近又需要在OS X的系统下重新安装spark, intelliJ Idea, scala的环境,讲道理不难,阅读者可以按照教程享受个无痛搭建环境的体验。IntelliJ我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:去 https://www.jetbrains.com/idea/ 下载In...原创 2019-02-04 01:31:48 · 1754 阅读 · 0 评论