Spark SQL和Spark Thrift Server安装部署

最新推荐文章于 2024-05-07 09:02:40 发布
最新推荐文章于 2024-05-07 09:02:40 发布
阅读量1.3w 收藏 15
点赞数 4
分类专栏： Spark 文章标签： Spark SQL Spark Thrift Server
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq513536189/article/details/78050033
版权

1. Spark部署

下载spark-2.2.0-bin-hadoop2.7.tgz

解压

$ tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz

配置环境变量

$ vim ~/.bashrc

添加如下内容：

exportSPARK_HOME=/home/cloud/cloud/spark-2.2.0-bin-hadoop2.7

exportPATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

1.1 启动Spark集群

$ $SPARK_HOME/sbin/start-all.sh

2. 配置Spark SQL CLI

2.1 创建spark-env.sh

$ cp $SPARK_HOME/conf/spark-env.sh.template$SPARK_HOME/conf/spark-env.sh

$ vim $SPARK_HOME/conf/spark-env.sh

添加如下内容

export JAVA_HOME=/home/cloud/cloud/jdk8

export HADOOP_CONF_DIR=/home/cloud/cloud/hadoop-2.8.0

exportHIVE_CONF_DIR=/home/cloud/cloud/apache-hive-2.1.1-bin

export SCALA_HOME=/home/cloud/cloud/scala-2.12.3

export SPARK_WORK_MEMORY=1g

export MASTER=spark://master:7077

#export SPARK_MASTER_IP=master

#export SPARK_MASTER_PORT=7077

2.2 创建并配置hive-site.xml

在运行Spark SQLCLI中需要使用到HiveMetastore，故需要在Spark中添加其uris。具体方法是在$SPARK_HOME/conf目录下创建hive-site.xml文件，然后在该配置文件中，添加hive.metastore.uris属性，具体如下：

说明：hive.metastore.uris指定了连接的Hive数据源。

$ vim $SPARK_HOME/conf/hive-site.xml

添加如下内容：

<configuration>

  <property>

   <name>hive.metastore.uris</name>

   <value>thrift://master:9083</value>

   <description>Thrift URI for the remote metastore. Used bymetastore client to connect to remote metastore.</description>

 </property>

</configuration>

2.3 复制hdfs-site.xml

$ cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml$SPARK_HOME/conf

2.4 创建slaves

$ cp $SPARK_HOME/slaves.template$SPARK_HOME/slaves

添加如下内容：

master

slave1

slave2

2.5 复制hive-hbase-handler-2.1.1.jar到$SPARK_HOME/jars/

$ cp $HIVE_HOME/lib/hive-hbase-handler-2.1.1.jar$SPARK_HOME/jars/

2.6 创建lib目录并拷贝相关jar包

$ mkdir $SPARK_HOME/lib

$ cp $HBASE_HOME/lib/guava-12.0.1.jar$SPARK_HOME/lib/

$ cp $HBASE_HOME/lib/hbase-common-1.2.6-tests.jar$SPARK_HOME/lib/

$ cp $HBASE_HOME/lib/hbase-client-1.2.6.jar$SPARK_HOME/lib/

$ cp $HBASE_HOME/lib/hbase-protocol-1.2.6.jar$SPARK_HOME/lib/

$ cp$HBASE_HOME/lib/htrace-core-3.1.0-incubating.jar $SPARK_HOME/lib/

$ cp $HBASE_HOME/lib/hbase-common-1.2.6.jar$SPARK_HOME/lib/

$ cp $HBASE_HOME/lib/hbase-server-1.2.6.jar$SPARK_HOME/lib/

$ cp$HIVE_HOME/lib/mysql-connector-java-5.1.41-bin.jar $SPARK_HOME/lib/

其中mysql-connector-java-5.1.41-bin.jar来自于https://dev.mysql.com/downloads/connector/j/下载的mysql-connector-java-5.1.41.tar.gz

$ cp $HIVE_HOME/lib/metrics-core-2.2.0.jar$SPARK_HOME/lib

2.7 修改spark-env.sh

$ vim $SPARK_HOME/conf/spark-env.sh

添加如下内容：

exportSPARK_CLASSPATH=$SPARK_CLASSPATH:$SPARK_HOME/lib/guava-12.0.1.jar

exportSPARK_CLASSPATH=$SPARK_CLASSPATH:$SPARK_HOME/lib/hbase-client-1.2.6.jar

exportSPARK_CLASSPATH=$SPARK_CLASSPATH:$SPARK_HOME/lib/hbase-common-1.2.6.jar

exportSPARK_CLASSPATH=$SPARK_CLASSPATH:$SPARK_HOME/lib/hbase-common-1.2.6-tests.jar

exportSPARK_CLASSPATH=$SPARK_CLASSPATH:$SPARK_HOME/lib/hbase-protocol-1.2.6.jar

exportSPARK_CLASSPATH=$SPARK_CLASSPATH:$SPARK_HOME/lib/hbase-server-1.2.6.jar

exportSPARK_CLASSPATH=$SPARK_CLASSPATH:$SPARK_HOME/lib/htrace-core-3.1.0-incubating.jar

exportSPARK_CLASSPATH=$SPARK_CLASSPATH:$SPARK_HOME/lib/mysql-connector-java-5.1.41-bin.jar

exportSPARK_CLASSPATH=$SPARK_CLASSPATH:$SPARK_HOME/lib/ metrics-core-2.2.0.jar

2.8 启动Hive Metastore

在使用Spark SQLCLI之前需要启动HiveMetastore（如果数据存放在HDFS文件系统，还需要启动Hadoop的HDFS），使用如下命令可以使Hive Metastore启动后运行在后台，可以通过jobs查询：

$ nohup hive --service metastore >metastore.log 2>&1 &

2.9 启动Spark SQL CLI

$ $SPARK_HOME/bin/spark-sql --masterspark://master:7077 --executor-memory 1g

在集群监控页面http://master:8080/可以看到启动了SparkSQL应用程序：

3. 配置Spark Thrift Server

3.1 创建或修改hive-site.xml配置文件

若在Spark SQLCLI中已创建hive-site.xml，则添加新内容即可。

$ vim $SPARK_HOME/conf/hive-site.xml

添加如下内容：

<!--Thrift JDBC/ODBC server-->

   <property>

       <name>hive.server2.thrift.min.worker.threads</name>

       <value>5</value>

   </property>

   <property>

       <name>hive.server2.thrift.max.worker.threads</name>

       <value>500</value>

   </property>

   <property>

       <name>hive.server2.thrift.port</name>

       <value>10001</value>

   </property>

   <property>

       <name>hive.server2.thrift.bind.host</name>

       <value>master</value>

   </property>

说明：hive.server2.thrift.bind.host指定要启动thrift server的主机，hive.server2.thrift.port指定要打开的端口号。使用端口10001是为了避免与Hive自己的hive.server2.thrift.port—10000产生冲突。

3.2 启动Spark Thrift Server

$ $SPARK_HOME/sbin/start-thriftserver.sh --masterspark://master:7077 --executor-memory 1g

启动后使用$ jps可以看到SparkSubmit进程，如图

3.3 远程客户端使用Spark beeline访问hive

我的远程客户端为ubuntu，将spark解压到远程客户端即可使用beeline

客户端使用Sparkbeeline访问hive详见：第十、9.2节启动

4. 启动和退出spark-shell

启动命令如下

$ spark-shell

退出命令如下：

$ :quit

4.1 上传一个文件到HDFS，对该文件进行WordCount

上传文件至HDFS根目录

$ hdfs dfs -put$HADOOP_HOME/etc/hadoop/core-site.xml /

启动scala，输入如下命令对文件core-site.xml进行词频统计

scala> valrdd=sc.textFile("hdfs://master:9000/core-site.xml")

scala> rdd.cache()

scala> valwordcount=rdd.flatMap(_.split(" ")).map(x=>(x,1)).reduceByKey(_+_)

scala> wordcount.take(10)

scala> valwordsort=wordcount.map(x=>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x._1))

scala> >wordsort.take(10)

执行结果如下图：

以上命令的一行实现如下：

scala>sc.textFile("hdfs://master:9000/core-site.xml").flatMap(_.split("")).map(x=>(x,1)).reduceByKey(_+_).map(x=>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x._1)).take(10)

执行过程如下图

5. spark-submit的使用

5.1 工具语法及参数

从Spark1.0.0开始，Spark提供了一个易用的应用程序部署工具bin/spark-submit，可以完成Spark应用程序在local、Standalone、YARN、Mesos上的快捷部署。该工具语法及参数说明如下：

Usage: spark-submit [options] <app jar |python file> [app options]

Options:

  --masterMASTER_URL          spark://host:port,mesos://host:port, yarn, or local.

 --deploy-mode DEPLOY_MODE  driver运行之处，client运行在本机，cluster运行在集群

  --classCLASS_NAME            应用程序包的要运行的class

  --nameNAME                  应用程序名称

  --jarsJARS                     用逗号隔开的driver本地jar包列表以及executor类路径

 --py-files PY_FILES              用逗号隔开的放置在Python应用程序

PYTHONPATH上的.zip, .egg, .py文件列表

  --filesFILES                    用逗号隔开的要放置在每个executor工作目录的文件列表

  --properties-fileFILE           设置应用程序属性的文件放置位置，默认是conf/spark-defaults.conf

 --driver-memory MEM         driver内存大小，默认512M

 --driver-java-options          driver的java选项

 --driver-library-path           driver的库路径Extralibrary path entries to pass to the driver

 --driver-class-path            driver的类路径，用--jars 添加的jar包会自动包含在类路径里

 --executor-memory MEM      executor内存大小，默认1G

 

 Sparkstandalone with cluster deploy mode only:

 --driver-cores NUM          driver使用内核数，默认为1

 --supervise                   如果设置了该参数，driver失败是会重启

 

 Sparkstandalone and Mesos only:

 --total-executor-cores NUM   executor使用的总核数

 

 YARN-only:

 --executor-cores NUM         每个executor使用的内核数，默认为1

  --queueQUEUE_NAME        提交应用程序给哪个YARN的队列，默认是default队列

  --num-executorsNUM        启动的executor数量，默认是2个

 --archives ARCHIVES          被每个executor提取到工作目录的档案列表，用逗号隔开

5.2 实例

该脚本为Spark自带例子，在该例子中个计算了圆周率π的值，以下为执行脚本：

spark-submit --master spark://master:7077 --classorg.apache.spark.examples.SparkPi --executor-memory 512m $SPARK_HOME/examples/jars/spark-examples_2.11-2.1.1.jar200

参数说明（详细可以参考上面的参数说明）：

a) --master Master所在地址，可以有Mesos、Spark、YARN和Local四种，在这里为SparkStandalone集群，地址为spark://hadoop1:7077

b) --class应用程序调用的类名，这里为org.apache.spark.examples.SparkPi

c) --executor-memory 每个executor所分配的内存大小，这里为512M

d) 执行jar包 这里是../lib/spark-examples-1.1.0-hadoop2.2.0.jar

e)  分片数目 这里数目为200

执行结果如下图：

6. 遇到的问题及解决办法

6.1 在Spark SQL CLI中执行SQL命令出现大量日志，如下图

解决办法：

$ cd $SPARK_HOME/conf/

$ cp log4j.properties.template log4j.properties

$ vim log4j.properties

log4j.rootCategory=INFO, console中的INFO改为WARN，保存退出即可。

6.2 Spark SQL CLI和Spark Thrift Server全部启动后，使用Spark SQL CLI执行SQL出现如下错误

17/08/14 06:40:03 WARN TaskSchedulerImpl: Initialjob has not accepted any resources; check your cluster UI to ensure thatworkers are registered and have sufficient resources

如图：

使用stop-thriftserver.sh命令或者在http://master:8080/结束掉Spark Thrift Server后再使用Spark SQL CLI执行show databases;没问题，执行SQL查询报错。

推测：集群中有两台计算机内存只有1G。先启动SparkThrift Server：$SPARK_HOME/sbin/start-thriftserver.sh--master spark://master:7077 --executor-memory 1g，已经占据1g内存；再启动SparkSQL CLI：$SPARK_HOME/bin/spark-sql--master spark://master:7077 --executor-memory 1g时，内存不足。但是先启动Spark SQL CLI，再启动Spark Thrift Server却可以。

6.3 在spark-sql中执行sql查询，出错org.apache.hadoop.hive.hbase.HBaseSerDe not found

 

错误原因：缺少hive-hbase-handler-2.1.1.jar

解决办法：

$ cp $HIVE_HOME/lib/hive-hbase-handler-2.1.1.jar$SPARK_HOME/jars/

同理，出现***.***.***notfound一般为jar包缺失或jar包中的.class缺失

6.4 在spark-sql中执行sql查询出现错误

17/09/21 02:08:35 ERROR SparkSQLDriver: Failed in[select * from pilotinfo]

org.apache.hadoop.hbase.client.RetriesExhaustedException:Failed after attempts=36, exceptions:

Thu Sep 21 02:08:35 GMT 2017, null,java.net.SocketTimeoutException: callTimeout=60000, callDuration=68693: row'bigdata,,00000000000000' on table 'hbase:meta' atregion=hbase:meta,,1.1588230740, hostname=slave2,16020,1505956754657, seqNum=0

******

Caused by: java.net.SocketTimeoutException:callTimeout=60000, callDuration=68693: row 'bigdata,,00000000000000' on table'hbase:meta' at region=hbase:meta,,1.1588230740,hostname=slave2,16020,1505956754657, seqNum=0

******

Caused by: java.lang.ClassNotFoundException:com.yammer.metrics.core.Gauge

如图：


错误原因：缺少metrics-core-2.2.0.jar

解决办法：

$ cp $HIVE_HOME/lib/metrics-core-2.2.0.jar$SPARK_HOME/lib

$ vim $SPARK_HOME/conf/spark-env.sh

exportSPARK_CLASSPATH=$SPARK_CLASSPATH:$SPARK_HOME/lib/ metrics-core-2.2.0.jar

 


qq513536189
关注
  • 4
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark thrift server安装部署
likino666的博客
11-20 1123
SparkSql由Core、Catalyst、Hive、Hive-thriftserver组成 ThriftServer是一个JDBC/ODBC接口，用户可以通过JDBC/ODBC连接ThriftServer来访问SparkSQL的数据。 Thriftserver启动时会启动一个sparkSql application。 通过JDBC/ODBC连接到该server的客户端会共享该server的程序...
由浅入深了解Thrift（三）——Thrift server端的几种工作模式分析
逍遥子曰：
01-16 1万+
一、  Thrift服务器端几种工作模式分析与总结 Thrift为服务器端提供了多种工作模式，本文中将涉及以下5中工作模式：TSimpleServer、TNonblockingServer、THsHaServer、TThreadPoolServer、TThreadedSelectorServer，这5中工作模式的详细工作原理如下： 1.      TSimpleServer模式 TSimpl
大数据最全大数据进阶之路——Spark SQL环境搭建_sparksql环境搭建(1)，2024年最新阿里P8成长路线
最新发布
2401_84182392的博客
05-07 1038
2）安装jdk下载建议把bin目录配置到系统环境变量(~/.bash_profile)中3）机器参数设置配置Java目录5）格式化HDFS注意：这一步操作，，每次如果都格式化的话，那么HDFS上的数据就会被清空看到下面日志表示成功6）启动HDFS7）停止HDFS。
Spark任务的thrift冲突问题（logging-assembly）
zl
10-21 383
因为项目是使用到了org.apache.thrift，在任务执行过程中，遇到了各种因thrift引起的jar包冲突问题，第一个想到的是shade <relocation> <pattern>org.apache.thrift</pattern> <shadedPattern>shade.org.apache.thrift</shadedPattern> </relocation> 最后一个stage解决了，但是由.
spark引擎执行sql报错：JsonParseException：Unexpected_character
科小勒的博客
07-10 1278
com.fasterxml.jackson.core.JsonParseException Unexpected_character("code
Sparkthrift Server 启动命令调优及问题报错解决
weixin_42151880的博客
03-15 1992
文章目录1、sparkthrift Server 启动命令2、实际生产过程中的报错解决2.1、Kryo serialization failed: Buffer overflow. Available: 0, required: 2428400. To avoid this, increase spark.kryoserializer.buffer.max value2.2、java.lang.OutOfMemoryError: GC overhead limit exceeded2.3、Job abort
基于Scala的Spark Thrift Server设计源码
04-03
本设计源码提供了一个基于Scala的Spark Thrift Server。项目包含12731个文件，主要使用Scala、Java、Python、Shell、JavaScript、CSS、HTML、Ruby和C编程语言。文件类型包括3539个Scala源代码文件、1559个Q文件、...
编译的spark-hive_2.11-2.3.0和 spark-hive-thriftserver_2.11-2.3.0.jar
06-23
spark-hive_2.11-2.3.0...spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0.jar
parquet-index：Parquet表的Spark SQL索引
01-28
包允许为Parquet表创建索引（作为和），以减少在Spark SQL中用于几乎交互式分析或点查询时的查询延迟。 它设计用于表不经常更改但经常用于查询的用例，例如使用Thrift JDBC / ODBC服务器。 建立索引后，架构和文件...
SparkSQL的分布式执行引擎(Spark ThriftServer)
07-03
总的来说，SparkSQL和Spark ThriftServer是大数据处理中的重要工具，它们为用户提供了灵活且高效的SQL接口，使得在大数据环境中进行数据分析变得更加便捷。通过深入理解和优化ThriftServer，我们可以充分利用Spark的...
goshine:spark-thriftserver 的 go 客户端库
07-02
2. **Spark Thrift Server**: 是 Spark 提供的一个组件，它通过 Thrift 服务接口暴露 Spark SQL 功能，使得非 Scala/Java 应用可以通过 JDBC/ODBC 连接到 Spark，并执行 SQL 查询。 3. **Thrift**: 是一种软件框架...
Spark Thrift Server 部署与应用
weixin_38251332的博客
03-08 8572
前言 在介绍spark thrift server 需要先介绍一下其与hiverserver2及spark-sql的关系与区别 HiveServer2 Hive提供了一个命令行终端，在安装了Hive的机器上，配置好了元数据信息数据库和指定了Hadoop的配置文件之后输入hive命令，就可以进入到hive的交互式终端，接下来只要编写SQL语句即可，这跟传统RDB数据库提供的终端是类似的。 启动hiveserver2服务后，Hive除了可以通过hive提供的beeline以cli的方式操作hive，还提供了j
Hadoop3.x入门-SparkThriftServer部署
小末的博客
05-15 1527
1.前言 SparkThriftServer，简称STS，作为SparkSQL的JDBC/ODBC服务，启动了STS服务后，就可以使用代码程序通过JDBC/ODBC的接口提交Spark SQL。 STS对标的是Hive的HiveServer2，其中代码内部实现也大量参考了HiveServer2。 STS计算引擎为Spark，而HiveServer2默认对应的MapReduce，因此STS的任务的计算速度要比HiveServer2快很多（10-100倍），...
深入浅出 Spark Thrift Sever
epitomizelu的专栏
12-16 3335
一，Spark Thrift Sever是什么 Spark借助Hive的Metadata Service可以实现通过命令行客户端工具执行Sql语句，就像是Hive或者Mysql的命令行工具一样，称之为Spark CLI。 Spark CLI适合做一些简单的测试，如Sql语法验证、查看表结构等等，使用起来比较方便。但其有一个限制，Spark CLI必须和HiveMeta Service在同一台服务器，这就限制了Spark CLI的使用范围，局限于开发人员使用。 Spark SQL有没有提供通过客户端(DBea
基于kubernetes构建spark-thriftserver集群(Deployment模式)
一个人的人生
09-19 1118
继续上一篇《基于kubernetes构建spark集群(RC模式)》，沿用上一篇rbac配置，以及PV、PVC配置，本篇将采用Deployment方式进行部署spark集群，以及增加thriftserver服务配置。 1、构建镜像 这里采用spark-2.4.4-bin-hadoop2.7.ta​​r.gz包部署，先解压文件到/opt/spark目录。 （1）将需要第三方扩展包导入/opt/spark/spark-2.4.4 -bin-hadoop2.7/jars目录 #根据自己需要导入 elasticse
Spark Thrift Server 架构和原理介绍
热门推荐
u013332124的专栏
05-19 2万+
文章目录一、Spark Thrift Server介绍二、部署Spark Thrift Server三、Spark Thrift Server的架构四、Spark Thrift Server如何执行SQL五、和HiveServer2的区别Spark Thrift Server的优点Spark Thrift Server的缺点六、结论 一、Spark Thrift Server介绍 Spark Th...
大数据：Spark Thrift Server 架构简介
GIS摆渡人
06-08 1596
Spark Thrift Server是Spark社区基于HiveServer2实现的一个Thrift服务。旨在无缝兼容HiveServer2。因为Spark Thrift Server的接口和协议都和HiveServer2完全一致，因此我们部署好Spark Thrift Server后，可以直接使用hive的beeline访问Spark Thrift Server执行相关语句。Spark Thrift Server的目的也只是取代HiveServer2，因此它依旧可以和Hive Metastore进行交互
Thrift基本原理以及使用介绍
weixin_42642341的博客
11-28 2207
Thrift 初识Thrift Thrift是一个跨语言通信的RPC软件，最初是由FaceBook开发的，现在是Apache的一个顶级项目。 Thrift概念： Thrift 最初是由 Facebook 开发用做系统内各语言之间的 RPC 通信的一个可扩展且跨语言的软件框架，它结合了功能强大的软件堆栈和代码生成引擎，允许定义一个简单的定义文件中的数据类型和服务接口，以作为输入文件，编译器生...
spark sql之thriftserver和beeline的使用
08-20
### 回答1： Spark SQL是一个用于处理结构化数据的模块，它提供了一种基于SQL的编程接口，可以让用户使用SQL语句来查询数据。ThriftServer是Spark SQL的一个组件，它提供了一个基于Thrift协议的服务，可以让用户通过网络连接到Spark SQL，并使用SQL语句来查询数据。Beeline是一个用于连接到ThriftServer的命令行工具，它可以让用户通过命令行界面来执行SQL语句。 使用ThriftServer和Beeline可以让用户通过网络连接到Spark SQL，并使用SQL语句来查询数据。首先需要启动ThriftServer，可以使用以下命令： ``` ./sbin/start-thriftserver.sh ``` 启动成功后，可以使用Beeline连接到ThriftServer，可以使用以下命令： ``` ./bin/beeline -u jdbc:hive2://localhost:10000 ``` 连接成功后，就可以使用SQL语句来查询数据了。例如，可以使用以下命令查询表格： ``` SELECT * FROM table_name; ``` 使用ThriftServer和Beeline可以方便地查询Spark SQL中的数据，特别是在需要远程访问数据时非常有用。 ### 回答2： ThriftServer（又称HiveServer2）和Beeline都是Spark SQL中常用的工具，用于连接和操作Spark SQL。 ThriftServer是一个支持Hive/Spark SQL的服务，它允许用户通过多种编程语言（如Java、Python等）来访问和查询数据。ThriftServer通过Thrift协议提供了基于网络的服务，允许远程客户端连接到Spark集群并执行Spark SQL查询。ThriftServer可以通过配置来启用或禁用Kerberos身份验证，以实现安全连接。 Beeline是一个基于命令行的工具，它是Hive和Spark SQL的原生客户端。可以使用Beeline连接到ThriftServer，并通过命令行界面执行Spark SQL查询。Beeline支持多种连接方式，例如通过JDBC连接到ThriftServer、通过Kerberos进行身份验证等。用户可以通过Beeline执行SQL语句、管理数据库、查看查询结果等。 使用ThriftServer和Beeline的步骤如下： 1. 首先，确保Spark集群已经启动，并且ThriftServer已经启动。可以通过spark-sql或spark-sql2启动ThriftServer，默认情况下会监听端口10000。 2. 使用Beeline连接到ThriftServer。可以通过命令beeline -u jdbc:hive2://hostname:port进行连接，其中hostname是ThriftServer所在的主机名或IP地址，port是ThriftServer监听的端口号。此外，还需要提供用户名和密码进行身份验证。 3. 连接成功后，可以在Beeline中执行SQL语句。输入SQL语句后，按下回车键即可执行。查询结果会显示在命令行界面上。还可以使用Beeline提供的命令来管理数据库、查看表、导入导出数据等操作。 ThriftServer和Beeline的使用简单而方便，能够有效地连接和操作Spark SQL。它们为用户提供了一种灵活的方式来查询和管理数据，便于开发人员和数据分析师使用Spark SQL进行数据处理和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值