how to research
- spark自动引包
- spark不自动引包
- spark怎样自动引包
- how auto import
idea只会自动加载类的引用,spark中的算子,如when,col等函数时,并不会自动import pageckage路径,可能和隐式转换有关系吧。
这时需要用以下方式:
在函数前加上functions
。
例如:
functions.when
idea就会自动加载引用:import org.apache.spark.sql.functions.when
how to research
idea只会自动加载类的引用,spark中的算子,如when,col等函数时,并不会自动import pageckage路径,可能和隐式转换有关系吧。
这时需要用以下方式:
在函数前加上functions
。
例如:
functions.when
idea就会自动加载引用:import org.apache.spark.sql.functions.when
转载于:https://my.oschina.net/freelili/blog/2873749