spark-sql

已于 2024-03-17 22:36:19 修改
阅读量567 收藏 11
点赞数 4
文章标签： spark sql 大数据
于 2024-02-21 16:24:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TT1024167802/article/details/136214821
版权
文章描述了在尝试使用ApacheSparkSQLCLI时遇到的错误，指出需在构建Spark时添加`-Phive`和`-Phive-thriftserver`选项。最后提到一个临时目录被删除的信息。
摘要由CSDN通过智能技术生成

[root@localhost bin]# ./spark-sql

Error: Failed to load class org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.

Failed to load main class org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.

You need to build Spark with -Phive and -Phive-thriftserver.

24/02/22 00:23:20 INFO ShutdownHookManager: Shutdown hook called

24/02/22 00:23:20 INFO ShutdownHookManager: Deleting directory /tmp/spark-08e66fc6-ff7d-4da1-b088-111e388939ef

青春不流名
关注
spark on yarn模式 使用spark-shell spark-sql
yy的博客
09-01 397
spark-shell spark-sql
Apache Spark启动spark-sql报错
终回首的博客
08-02 2820
一、问题 安装好spark后，执行spark-sql报错Exception in thread “main” java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT 命令 ./bin/spark-sql 报错日志： 2021-08-02 15:00:04,213 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin
Error: Failed to load class org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver
只愿你日后不会觉得遗憾
03-25 5517
项目场景： 项目场景：hive与SparkSQL整合时，出现该报错，严格意义上来说是 使用SparkSQL命令时遇到该报错 问题描述 在使用SparkSQL命令时遇到该报错 java.lang.ClassNotFoundException: org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lan
Failed to load org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver: org/apache/hadoop/hive/cli/
liyaya0201的博客
04-03 5796
1. 环境介绍 集群：CDH5.12.0 Spark版本：2.4.0（未编译） 执行 spark-sql 的 shell 脚本时，会报如下错误 [root@master bin]# sh spark-sql Warning: Failed to load org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver: org/apache/had...
Spark SQL CLI 运行
热门推荐
风行天下
03-04 1万+
1：运行 ./bin/spark-sql 需要先把hive-site.xml 负责到spark的conf目录下 [jifeng@feng02 spark-1.2.0-bin-2.4.1]$ ./bin/spark-sql Spark assembly has been built with Hive, including Datanucleus jars on classpath java.l
spark-sql执行时报错：
vincent_duan的专栏
03-26 467
在执行spark-shell时没有问题：使用的命令是：./spark-shell --master local[2] --jars /home/iie4bu/software/mysql-connector-java-8.0.15.jar，可以正常使用。 但是使用spark-sql时,命令：./spark-sql --master local[2] --jars /home/iie4bu/soft...
spark-Sql
weixin_42279393的博客
01-03 196
Dataframe的两种使用：Api sql 要想使用sql api首先要使用一种sparksession对象来产生dataframe 或者dataset 也可以使用一种叫做sqlcontext产生 sqlcontext的创建需要依赖于sparkcontext 也可以使用hivecontext来产生，必须要在sqlContext基础上来创建 由此可见 我们的底层还是靠sparkContext...
Spark-SQL
开水烫鱼的博客
01-25 529
SQL风格的操作 通过封装数据和创建描述表信息来创建DataFrame，然后注册表 （最基本的） object SqlTest1 { def main(args: Array[String]): Unit = { //1.构建SparkSession val sparkSession = SparkSession.builder().appName("SqlTest1") ...
spark-hive-2.11和spark-sql-以及spark-hadoop包另付下载地址
05-22
在标题"spark-hive-2.11和spark-sql-以及spark-hadoop包另付下载地址"中，我们关注的是Spark与Hive的特定版本（2.11）的集成，以及Spark SQL和Spark对Hadoop的支持。这里的2.11可能指的是Scala的版本，因为Spark是用...
spark-sql_2.11-2.4.0-cdh6.1.1.jar
05-14
spark-sql_2.11-2.4.0-cdh6.1.1.jar
spark-hive-thriftserver_2.11-2.1.3-SNAPSHOT-123456.jar
04-01
spark-hive-thriftserver_2.11-2.1.spark-hive-thrift
spark-sql_2.11-2.1.3-SNAPSHOT_bak.jar
04-01
spark-sql_2.11-2.1.3-SNAPSHOT_bak.jar
Spark零基础思维导图(内含spark-core ，spark-streaming,spark-sql)，总结的很全面.zip
05-24
Spark零基础思维导图(内含spark-core ，spark-streaming,spark-sql)，总结的很全面。 Spark零基础思维导图(内含spark-core ，spark-streaming,spark-sql)。 Spark零基础思维导图(内含spark-core ，spark-streaming,...
spark-sql启动报错GSS initiate failed
我怀念的是-无话不说的博客
01-30 7827
18/01/30 13:21:14 WARN Client: Exception encountered while connecting to the server : javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mec...
Spark安装出错问题
pengfeijiuwanli的博客
04-07 2926
Spark安装出错问题 1.环境 1.centos 7.0版本 2.jdk 1.8 3.hadoop 2.9.3 4.spark 2.4.3 spark-2.4.3-bin-without-hadoop.tgz 2.出现的问题 1.Spark-shell终端出错 报错 Exception in thread "main" java.lang.NoSuchMethodError: jline.console.completer.CandidateListCompletionHandler.setPrintS
SPARK java.lang.ClassNotFoundException: org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver
80后大叔爱学习
03-15 1103
解决：编译时候缺少了相关jar包，需要重新编译：添加内容-Phive-thriftserver ./dev/make-distribution.sh \ --name "hadoop3-without-hive" \ --tgz "-Pyarn -Phive-thriftserver,hadoop-3.1,scala-2.11,parquet-provided,orc-provided" \ -Dhadoop.version=3.1.3 \ -Dscala.version=2.11.8 \ -Dsca..
记一个Spark模块Hive-thriftserver编译报错
探索技术世界
02-26 1590
[ERROR] Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (scala-compile-first) on project spark-hive-thriftserver_2.10: Execution scala-compile-first of goal net.alchim31.mav...
ClassNotFoundException: org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver解决办法
mnasd的博客
05-21 5180
我们通过源码编译的spark-2.3.0来启动spark-sql进行sql操作，结果出现如下错误：Spark assembly has been built with Hive, including Datanucleus jars on classpath java.lang.ClassNotFoundException: org.apache.spark.sql.hive.thriftse...
计算机毕业设计PySpark+Django深度学习游戏推荐系统 游戏可视化 游戏数据分析 游戏爬虫 Scrapy 机器学习 人工智能 大数据毕设
最新发布
全网粉丝100W+、全栈领域优质创作者、B站、github、CSDN等社区技术专家、专注于高端精品毕业项目源码实战
09-10 1046
计算机毕业设计PySpark+Django深度学习游戏推荐系统 游戏可视化 游戏数据分析 游戏爬虫 Scrapy 机器学习 人工智能 大数据毕设
spark-sql -e
04-30
Spark-SQL是Spark的一个模块，它允许开发者使用SQL语言对Spark中的数据进行查询和分析。可以通过Spark-SQL轻松地读取各种数据源，并编写SQL查询语句对数据进行分析和处理。Spark-SQL具有灵活性高，适用于处理结构化和半结构化数据（如JSON），甚至还可以将Spark-SQL查询集成到现有的Java和Scala应用程序中。Spark-SQL模块提供了一种强大的API，用于创建表和视图，对表和视图执行各种操作，并在Spark集群上执行查询。 而Spark-SQL -e的命令是用于运行一些SQL查询的。Spark-SQL -e可以接受一条查询作为参数，执行该查询，并将结果输出到终端。例如，如果我们想在Spark-SQL中查找所有学生的平均成绩，可以运行以下查询：spark-sql -e "SELECT AVG(grade) FROM students"。在执行查询时，可以使用各种选项来调整查询执行的环境设置。有些选项允许我们控制查询并行度，有些可以用于调整查询的内存使用情况。Spark-SQL -e可以用于处理大型数据集，因为它可以自动地将查询优化并分发到集群中的多个节点上。这使得Spark-SQL -e成为大数据处理的一个有用工具。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值