hue 提交spark-sql 关于CTAS bug的解决

最新推荐文章于 2023-09-02 22:57:37 发布
最新推荐文章于 2023-09-02 22:57:37 发布
阅读量593 收藏
点赞数
分类专栏： 大数据生态圈
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mnasd/article/details/89315824
版权

CTAS就是create table as select的简称。

最近在使用SparkSQL来进行快速的自定义SQL分析，因为需要把分析的结果保存下来，所以一定要使用CTAS功能，然而在使用的时候发现了一个bug，当然这个bug已经被报告了，状态依然是unresolved

我们用的spark2.2.1版本

bug 详情：

https://issues.apache.org/jira/browse/SPARK-21067

https://issues.apache.org/jira/browse/SPARK-16825

 

解决方法：

指定 hive 输出文件格式

SET hive.default.fileformat = Parquet;

Hudi Spark SQL源码学习总结-CTAS
主要分享大数据相关的知识，如Spark、Hudi
08-01 987
上一篇文章Hudi Spark SQL源码学习总结-Create Table总结了Create Table的源码执行逻辑，这一篇继续总结CTAS，之所以总结CTAS，是之前在我提交的一个PR中发现，Spark2和Spark3.2.1版本的CTAS的逻辑不一样，最终走的Hudi实现类也不一样，所以本文分Spark2和Spark3.2.1两个版本分析......
hivesql sparksql CTAS 建表使用parquet列式存储
yy的博客
01-17 462
sparksql hivesql
cdh hue + sparksql（spark thriftserver）
Tom_yj的博客
02-09 1602
cdh hue + sparksql（spark thriftserver) 参考hue:https://docs.gethue.com/administrator/configuration/connectors/ 1、由于cdh自带spark版本不支持spark-thrift服务，所以需要在官网下载自己所需的spark版本(http://spark.apache.org/downloads.html) 2、下载并解压后配置环境变量(jdk 安装不再赘述) vim /etc/profile export
spark2.0的SparkSQLbug
iteye_1882的博客
08-31 135
Spark2.0虽然速度很快，但是SparkSQL很多bug，没法采用SparkSession把数据从MySQL中导入和获取数据，采用Spark shell可以进入，执行spark.read.format("jdbc").options(Map("url" ->"jdbc:mysql://192.168.10.41:3306","user","root","password&quo
Spark sql 使用中的bug
weixin_43946446的博客
10-14 184
spark读取外部配置的方式， 1、–files CONFDIR/log4j.xml,{CONF_DIR}/log4j.xml,CONFD​IR/log4j.xml,{CONF_DIR}/default.properties,${BASE_DIR}/hbase.properties 上传多个文件，用英文逗号分隔开，文件路径必须是全路径 程序中读取的方式： 1.1、scala.io.Source.fromFile("hbase.properties").getLines().foreach(println(_
hue添加spark sql
qq_37076742的博客
09-22 3123
hue添加spark sql需要使用到livy,下载地址： http://livy.incubator.apache.org/download/ 配置： https://www.cnblogs.com/chengjunhao/p/9067666.html
解决CDH内嵌Spark版本不支持spark-sql的方案
阿啄debugIT
02-15 2994
1.概述 CDH内嵌Spark版本不支持spark-sql,因为cloudera在推自己的impala，但是有些场景需要用到Spark-sql时，比如Kylin企业版想要加快构建需要用到SparkSQL，大概的思路就是换jar包，很多资料，千篇一律是要加入hive&hivethriftserver重新编译源码再打成jar才能支持，其实我们只需要到官网去把编译好的spark包下下来，直接替...
hue-3.7.0-cdh5.3.6
06-26
`jobsub` 可能是指Hue的作业提交功能，它允许用户提交MapReduce、Spark等作业到Hadoop集群，同时提供了作业监控和管理的界面。 `sqoop` 文件夹代表Hue与Apache Sqoop的集成。Sqoop是一个用于在Hadoop和传统数据库...
hue-3.9.0-cdh5.14.0.tar.gz
12-18
使用`tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz`命令来解压文件，这会创建一个名为`hue-3.9.0-cdh5.14.0`的目录。进入该目录后，运行`./build/env/bin/build_hue.sh`脚本来编译源代码，这个过程可能需要一段时间，因为...
cdh使用sparksql_cloudera cdh6 添加spark-sql
weixin_30520605的博客
01-14 3013
spark-sql常用的查询工具，速度比较hivesql要快。但是cdh6并没有spark-sql。1，取消环境变量# unset KAFKA_HOME FLUME_HOME HBASE_HOME HIVE_HOME SPARK_HOME HADOOP_HOME SQOOP_HOME KYLIN_HOME以前装过独立的hadoop生态圈，最好是取消掉。2，遇到的问题Warning: Failed ...
hue-release-4.9.0-comp.tar.gz
08-20
hue4.9.0已编译完成，华为欧拉euler系统aarch架构
Hue-oozie运行spark
12-17
本文档是入门文档，详细描述使用Hue编辑workflows提交spark程序。
黑猴子的家：Hue 中 Spark 实现提交运行源码过程
黑猴子的博客
09-14 520
一．简介 1.1 Hue notebook 在Hue3.8版本之前，spark是以UI组件进行展示的。在3.8版本之后，为了支持不同语言例如python，scala并提供一个类似REPL（类似于一个终端可以编辑所有变成语言）的环境。Hue提供了notebook组件并将关于spark的运行逻辑放置在notebook UI中执行。为了执行Spark作业，需要安装Livy服务器。 1.2 Spar...
hue kyuubi sparksql
qq_29078779的博客
11-13 654
其实start-thriftserver.sh 执行了spark-submit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --name Thrift JDBC/ODBC Server）1、由于cdh自带spark版本不支持spark-thrift服务，所以需要在官网下载自己所需的spark版本(http://spark.apache.org/downloads.html)4、启动spark-thrift 服务。
使用 Hue 玩转 Amazon EMR(SparkSQL, Phoenix) 和 Amazon Redshift
亚马逊云科技专栏
09-02 621
当我们打开 hue 的配置文件（/etc/hue/conf/hue.ini）看到[[[sql]]] 处配置如下图，interface 配置的是 hiveserver2 便知道了此时的 SparkSQL 走的仍是 hiveserver2，因此使用的是 Tez 引擎（EMR上的Hive执行引擎默认是Tez），这代表着并未真的使用 Spark 执行引擎在运行上述的 Query。(1)修改 Hue 配置文件（/etc/hue/conf/hue.ini）中的执行引擎，并重启 Hue 服务。
Hue Sparksql - case when & row_number()
qq_31180831的博客
08-20 317
背景 数据修复，数据导入只有一个字段为no_sms，值传入Y,N, NULL; 存入正式表no_sms值为1，0, NULL; 数据有可能会被导入多次，以version字段区分，我们需要根据一个字段vip取最后一次导入的version; 解决 --导入源表中取最新一次version的no_sms转换后的字段值; create or replace view ods_mbr_sms as select vip, case when no_sms='Y' then 1 when no_sms=
Hue编译安装适配sparksql（hue+livy+sparksql+pyspark）
这个人很懒。
04-17 2241
Hue是一个开源的SQL助手，用于数据仓库。它可以与Livy集成，以便更轻松地开发SQL片段。本篇文章带大家安装hue+livy，配置sparksql，pyspark
hue整合sparksql和presto
Jatham_C的博客
10-29 1837
常见问题 参考文档 整合spark 先开启 ${spark_home}/sbin/start-thriftserver.sh [spark] # Host of the Spark Thrift Server # https://spark.apache.org/docs/latest/sql-distributed-sql-engine.html sql_server_host=localhost # Port of the Spark Thrift Server sql_server_port=1
避免在Spark 2.x版本中使用sparkSQL，关于CTAS bug的发现过程
陆云子安的专栏
07-17 3087
避免在Spark 2.x版本中使用sparkSQL，关于CTAS bug的发现过程标签（空格分隔）： Spark2.x sparkSQL CTAS避免在Spark 2x版本中使用sparkSQL关于CTAS bug的发现过程 背景 问题发现过程 1 问题发现 2 问题重现 尝试解决问题 1 网上建议1 2 网上建议2 3 组合方案 解决方案 最后结论1. 背景CTAS就是create table a
hue 提交spark任务
最新发布
11-07
提交Spark任务有多种方法，其中最常用的方法是通过spark-submit命令行工具来提交任务。 首先需要将Spark安装和配置好，确保Spark环境能够正常运行。然后，可以通过以下命令来提交任务： ```shell $ spark-submit -...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值