![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SparkSession
码出一片蓝天白云
磨炼技能就是一个熟能生巧的过程,加油加油加油!
展开
-
idea插件lombok的安装
项目中有使用setting->plugs->lombok原创 2019-11-26 16:18:12 · 69 阅读 · 0 评论 -
idea导入新项目pom.xml无法加载
idea导入新的工程,进行编译测试的时候,无法加载工程里的pom.xml解决办法:替换maven下的conf里的setting.xml本人的idea的maven路径:D:\worktools\IntelliJ IDEA 2018.3.2\plugins\maven\lib\maven3\confhttps://pan.baidu.com/s/1p8ZbJVB1kLgPtGYUDi6C7...原创 2019-11-26 15:25:42 · 1737 阅读 · 0 评论 -
ERROR SparkContext: Error initializing SparkContext.java.lang.IllegalArgumentException: System memor
这是spark2.0之上的版本,也就是sparksql,创建配置的是时候使用SparkSession,。spark2.0之下的可以val conf= new SparkConf() conf.set("spark.testing.memory", "2147480000")//后面的值大于512m即可报错:19/10/22 18:02:36 ERROR SparkCont...原创 2019-10-22 18:08:16 · 1701 阅读 · 1 评论