![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
老乔家大哥
大数据
展开
-
spark杂记(一)
1.使用sparksql需要将hive的依赖包加入SPARK_CLASSPATH 2.spark编译时如果需要支持cli,thrift-server则要求protobuf的版本和编译hadoop的protobuf版本一致 3.当以yarn-client模式运行时,driver就运行在客户端的spark-submit进程中,其JVM参数是取的spark-class文件中的设置 4.总结一下Sp原创 2015-04-24 18:11:03 · 1041 阅读 · 0 评论 -
玩过hadoop,hive的你们可以回顾回顾
这几年,大家都是从hadoop,hive走过来的。hadoop现在都快3.0了。下面贴一下我去年写的udaf,你看每个环节你是不是都清楚了。import org.apache.hadoop.hive.common.type.HiveDecimal; import org.apache.hadoop.hive.common.type.HiveVarchar; import org.apache.had原创 2016-03-31 16:31:09 · 1003 阅读 · 1 评论