![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
路飞DD
一心修仙
展开
-
HiveContext 执行报错Exception in org.apache.spark.sql.AnalysisException: Table or view not found
-- 昨夜西风凋碧树,独上高楼,望尽天涯路问题描述通过 Spark 的 HiveContext 查询 Hive 中的数据的时候报错如下:Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found:...原创 2019-06-27 17:02:53 · 1134 阅读 · 0 评论 -
Spark SQL 操作 Hive 表数据
spark-shell 方式操作 Hiveshow tablesselect * from empjoin 操作总结:和 HQL 语法一毛一样,只是记得 使用如下 格式 spark.sql(" xxxxxx ").show 即可如果嫌麻烦,还可以直接使用 spark-sql 进行查询,直接写 sql 即可操作 hive,如下结果为:编程方...原创 2019-07-05 00:38:20 · 2004 阅读 · 0 评论 -
SparkSession 访问 Hive 表数据报错:org.apache.spark.sql.AnalysisException: Table or view not found
错误场景当通过 SparkSession 访问 hive 中的表数据时,报错如下:Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: emp; line 1 pos 47 at org.apache.spark.sql.catalyst.analys...原创 2019-07-04 19:58:05 · 3551 阅读 · 0 评论 -
Jdbc 编程访问 spark SQL
首先启动 thriftserver./start-thriftserver.sh --master local[2] --jars /opt/module/hive-1.2.2/lib/mysql-connector-java-5.1.27-bin.jar 添加 pom 依赖 <dependency> <groupId>org....原创 2019-07-04 00:02:19 · 217 阅读 · 0 评论 -
spark-shell、spark-sql、thriftserver beeline 的区别
spark-shell、spark-sql 都是是一个独立的 spark application,启动几个就是几个 spark application每次都要重新启动申请资源。用thriftserver,无论启动多少个客户端(beeline),只要是连在一个thriftserver上,它都是一个spark application,后面不用在重新申请资源。能数据共享(上一个beeli...原创 2019-07-03 23:19:34 · 2115 阅读 · 0 评论 -
thriftserver & beeline 用法
启动 thriftserver 服务端[hadoop@hadoop2 sbin]$ ./start-thriftserver.sh \--master local[2] \--jars /opt/module/hive-1.2.2/lib/mysql-connector-java-5.1.27-bin.jarWebUI 查看启动 beeline 进行连接...原创 2019-07-03 22:53:44 · 374 阅读 · 0 评论 -
spark-shell & spark-sql 使用
spark-shell启动 spark-shell[hadoop@hadoop2 bin]$ ./spark-shell --master local[2] \--jars /opt/module/hive-1.2.2/lib/mysql-connector-java-5.1.27-bin.jar通过 spark-shell 操作 hive...原创 2019-07-03 22:31:42 · 12435 阅读 · 0 评论 -
Spark SQL | HiveContext 用法
代码如下:object demo2 { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf() //sparkConf.setAppName("HiveContext").setMaster("local[*]") val sc = new SparkContext(sp...原创 2019-07-03 21:57:57 · 601 阅读 · 0 评论 -
Spark SQL 与 Hive 交互报错:Specified key was too long; max key length is 3072 bytes
-- 昨夜西风凋碧树,独上高楼,望尽天涯路问题描述Spark SQL 查询 Hive 中数据的时候,报错如下:com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key l...原创 2019-06-28 09:08:03 · 3878 阅读 · 0 评论 -
HiveContext 执行报错Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient;
-- 昨夜西风凋碧树,独上高楼,望尽天涯路问题描述通过 spark-submit 执行 spark程序读取 hive 中数据的时候报错执行命令为:spark-submit --class com.demo1.HiveContextDemo --master spark://had...原创 2019-06-27 17:11:18 · 560 阅读 · 0 评论 -
Spark-submit 提交 报错 org.apache.spark.sql.execution.datasources.orc.OrcFileFormat could not be instant
错误场景如下代码:spark.sql("select e.empno,e.ename,e.job,e.mgr,e.comm from emp e join dept d on e.deptno = d.deptno") .filter("comm is not null") .write.parquet("/demp");spark-shell 可以跑的...原创 2019-07-05 00:45:54 · 9586 阅读 · 0 评论