![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 56
蚁方阵
千里之行,始于足下,用代码编织技术人生
展开
-
HIVE出现“ java.lang.UnsupportedOperationException”的解决办法
在HIVE中执行如下语句:select * from test where concat(year, month, day, hour) = '2020032412' limit 5;提示如下错误:Failed with exception java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: java....原创 2020-03-24 17:10:30 · 7177 阅读 · 0 评论 -
sbt-assembly在Spark应用架包冲突的解决办法
在利用sbt-assmebly对Spark应用打包时,提示如下错误:java.lang.RuntimeException: deduplicate: different file contents found in the following:[error] C:\Users\didi\.ivy2\cache\javax.inject\javax.inject\jars\javax.in...原创 2018-08-22 22:28:26 · 1619 阅读 · 0 评论 -
Spark:flatmap函数提示“ambiguous implicit values”的解决办法
很简单的Spark Rdd操作,提示如下错误:Error:(46, 15) ambiguous implicit values: both method newIntEncoder in class SQLImplicits of type => org.apache.spark.sql.Encoder[Int] and method newLongEncoder in clas...原创 2018-09-06 17:56:00 · 2489 阅读 · 0 评论 -
Spark-SQL导出查询结果的两种方式
为了分析数据的需要,我们需要导出Spark-SQL的查询结果,通过Spark SQL CLI有两种方式。1. 使用“-e”参数与“Hive”一样,Spark SQL CLI也支持“-e”参数,使用方式如下:# 分成多行是为了便于阅读# 执行时请去掉多余的回车spark-sql --num-executors 100 -e "select * from ...原创 2018-09-06 18:07:49 · 15747 阅读 · 0 评论 -
Presto与Spark SQL查询性能比较
1. 数仓环境指标名称指标值数据总量24T分区数量24存储类型TextSpark SQL版本Pres同版本2. 分页查询所有的计算时间都以秒为单位,执行的SQL语句如下:select * from mydb where year='2018' and month='09' and day='09' and remote_addr='...原创 2018-09-20 15:53:41 · 15829 阅读 · 1 评论