甘焕的博客

在HIVE中执行如下语句： select * from test where concat(year, month, day, hour) = '2020032412' limit 5; 提示如下错误： Failed with exception java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: java....

在利用sbt-assmebly对Spark应用打包时，提示如下错误： java.lang.RuntimeException: deduplicate: different file contents found in the following: [error] C:\Users\didi\.ivy2\cache\javax.inject\javax.inject\jars\javax.in...

很简单的Spark Rdd操作，提示如下错误： Error:(46, 15) ambiguous implicit values: both method newIntEncoder in class SQLImplicits of type => org.apache.spark.sql.Encoder[Int] and method newLongEncoder in clas...

为了分析数据的需要，我们需要导出Spark-SQL的查询结果，通过Spark SQL CLI有两种方式。 1. 使用“-e”参数 与“Hive”一样，Spark SQL CLI也支持“-e”参数，使用方式如下： # 分成多行是为了便于阅读 # 执行时请去掉多余的回车 spark-sql --num-executors 100 -e "select * from ...

1. 数仓环境 指标名称 指标值 数据总量 24T 分区数量 24 存储类型 Text Spark SQL版本 Pres同版本 2. 分页查询 所有的计算时间都以秒为单位，执行的SQL语句如下： select * from mydb where year='2018' and month='09' and day='09' and remote_addr='...