SparkSQL
码出一片蓝天白云
磨炼技能就是一个熟能生巧的过程,加油加油加油!
展开
-
idea导入新项目pom.xml无法加载
idea导入新的工程,进行编译测试的时候,无法加载工程里的pom.xml 解决办法:替换maven下的conf里的setting.xml 本人的idea的maven路径:D:\worktools\IntelliJ IDEA 2018.3.2\plugins\maven\lib\maven3\conf https://pan.baidu.com/s/1p8ZbJVB1kLgPtGYUDi6C7...原创 2019-11-26 15:25:42 · 1742 阅读 · 0 评论 -
ERROR SparkContext: Error initializing SparkContext.java.lang.IllegalArgumentException: System memor
这是spark2.0之上的版本,也就是sparksql,创建配置的是时候使用SparkSession,。spark2.0之下的可以val conf= new SparkConf() conf.set("spark.testing.memory", "2147480000")//后面的值大于512m即可 报错: 19/10/22 18:02:36 ERROR SparkCont...原创 2019-10-22 18:08:16 · 1713 阅读 · 1 评论