在hive中UDF函数可以在使用add jar 的方法添加,然后createTemporary function aaa as 包名.类名创建临时函数
,在spark-shell这样使用会报java.lang.ClassNotFoundException: com.luogankun.udf.HelloUDF。
这时将jar包放到(1)spark jars下 或(2)配置将jar包的路径配置到spark-env.sh的SPARK_CLASSPATH
中,形如:
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/hadoop/software/mysql-connector-java