- 博客(5)
- 收藏
- 关注
RSS订阅原创 Caused by: java.io.NotSerializableException: org.apache.spark.unsafe.types.UTF8String$IntWrapper
org.apache.spark.SparkException: Task not serializableCaused by: java.io.NotSerializableException: org.apache.spark.unsafe.types.UTF8String$IntWrapper使用hive on spark的时候，用HiveContext对象读取hive表数据后进行join时报错出现上述报错val hiveCtx = new HiveContext(sc)对比不同集群的sp
2021-06-21 20:49:13
338
2
原创 linux脚本无法运行，shell脚本无法运行，明明代码一模一样
如果在linux下的shell脚本无法运行，考虑是否是从windows通过sftp上传至linux导致的文件格式不匹配。可以用文本编辑器把格式改成Unix 或者采用复制粘贴代码
2021-06-21 20:24:54
1115
原创 简单谈谈hive，spark-sql，hive on spark中udf自定义函数的使用
hive中使用udf首先如果在hive中使用udf函数的话，如果使用java编写udf，则需要导入的包：import org.apache.hadoop.hive.ql.exec.UDF;//这里的1代表参数个数import org.apache.spark.sql.api.java.UDF1;比如创建一个udf：import org.apache.hadoop.hive.serde2.io.DoubleWritable;import org.apache.hadoop.io.IntWri
2021-06-19 01:16:33
3462
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人