关于sparksql无法对hive表查询或插入的问题

最新推荐文章于 2024-03-06 13:53:35 发布
最新推荐文章于 2024-03-06 13:53:35 发布
阅读量1k 收藏 2
点赞数
文章标签： hive big data hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kaku1230/article/details/123300812
版权
在腾讯云环境下，使用SparkSQL操作Hive表遇到连接拒绝问题，原因是Hive元数据库中记录的地址为内网地址。通过修改`core-site.xml`的`fs.defaultFS`端口配置无效。解决方案是更新`hive-site.xml`配置，确保Hive库的位置指向公网IP，从而解决查询和插入数据的超时问题。
摘要由CSDN通过智能技术生成

本人用的是腾讯云，安装hadoop时候，fs.defaultFS只能写内网地址，要不然无法启动。问题就来了，在用Idea开发sparksql操作hive表的时候，发现查询hive表或者插入数据报连接拒绝的问题

如图就是本地访问namenode节点超时问题，问题是代码中明明写的是公网ip对应的hostname

config("spark.sql.warehouse.dir", "hdfs://124.223.xx.xx:8020/user/hive/warehouse")

然后我花了两天时间一直在改hadoop配置问题，觉得是hadoop的defaultFs造成的问题，结果徒劳无功，然后偶然发现了这篇文章

最低0.47元/天 解锁文章
kaku1230
关注
spark-sql客户端连接不上hive
小五的博客
02-16 299
参考：https://blog.csdn.net/m0_73734232/article/details/128273959。复制hive配置文件以及存储元数据的mysql jar包即可。原因缺少hive配置文件。
如何解决Sparksession/HiveContext访问不到Hive表中新插入的记录, 或者元数据不一致的问题
Lestat.Z.的博客
04-14 2831
问题描述 在做某个POC项目的测试时候，先pyspark2界面count表A一共有3条，在另一个界面用beeline往这种表插入一条数据，然后继续在beeline中count，此时显示总数为4，插入正常。但是回到pyspark2的界面执行sql语句时候，发现还是3条。 原因 首先看下以下几个知识点： Hive Metastore 当使用enableHiveSupport创建SparkSession...
sparksql 查询不到hive内部表数据
Antg的博客
11-20 3070
问题描述 使用sparksql查询hive数据表,第一个表查询出了,第二个表查询出了,第三个查询…居然没有结果????????????,奇怪了,接着使用hive查询了一下这个表,发现是有数据的. 问题分析 表和表之间有差异?确实有 hive分为内表和外表 内表 元数据和数据都由hive管理 外部表 元数据hive管理,数据hdfs管理 很可能问题就是出在了这里… 然后就一顿百度???????????? 终于找到了问题的原因: ???????????????????? hive 默认生成的内表是事务表(A
spark sql 查询hive表是否存在
Buevara的博客
10-22 3730
利用 show tables in DBname like ‘TABLEname’ 语句 var userid = "test" var datasetid1 = "dm_op_log" var datasetid2 = "bb" var s = spark.sql(s"show tables in $userid like '$datasetid1' ") s.show() println("@@@@", s.count()) var s2 = spark.sql(s"show tables.
spark 无法写入hive表Can not create the managed table，该如何解决？
weixin_43100196的博客
11-18 4052
在将数据写入hive的时候，有时候就会出现： Can not create the managed table(’lintest.getEveryDayStudentAllinfo’). The associated location(‘hdfs://mycluster/user/hive/warehouse/lintest.db/getEveryDayStudentAllinfo’) already exists.; 这有可能是写入hive的数据表名字有大写字母，所以出现错误。提示表不存在！！！ 将表名
IDEA中使用SparkSQL连接Hive数据库报错：找不到表Table or view 'emp' not found
BigData_Mining的博客
07-03 8629
错误信息：Exception in thread "main" org.apache.spark.sql.catalyst.analysis.NoSuchTableException: Table or view 'emp' not found in database 'test1';解决方案：需要将hive-site.xml这个文件拷贝到resource下。问题解决！！...
sparkSql动态插入hive分区表
麦田里的虫子
08-14 7867
前提条件：hive中创建分区表，并指定分区键 create table test( id stirng )partitioned by (name string) stored as orc; 创建sparksession，不需要认证的话去掉config中内容 SparkSession ss = SparkSession.builder() .ap...
SparkSQL与Hive交互
weixin_43520450的博客
03-08 1166
SparkSQL与Hive交互
大数据的数据处理：通过spark对Hive表查询和添加数据
nfzhlk的专栏
01-30 2857
在处理大数据时，会用到spark平台，对于一些对实时性要求不高，但数据量比较大的场景，我们可以考虑将生成数据存入hive表中。那么怎么将数据按时间存入hive表中，怎么将hive表中的数据直接读取出来并做处理呢？废话不多说，直接上代码！ package spark; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import or
在spark中将数据插入HIVE表
weixin_43668299的博客
12-29 3519
在spark中将数据插入HIVE表 用spark导入到HIVE中效率较高 1 创建数据集的spark D啊他Frames: TmpDF=spark.createDataFrame(RDD,schema) 这里schema是由StructFied函数定义的 2 将数据集的DataFrames格式映射到...
windows下spark访问本地hive，建表后加载数据显示拒绝访问
jmzhhh的博客
03-07 314
加载到spark-warehouse的数据拒绝访问，该问题主要是win系统下的文件权限默认是当前用户，并非管理员
IDEA 操作 Spark 读取 hive 数据，不允许匿名访问
weixin_46376562的博客
08-11 165
修改 core-site.xml <property> <name>hadoop.proxyuser.用户名.groups</name> <value>*</value> <description>Allow the superuser oozie to impersonate any members of the group group1 and group2</description>
Spark连接hive出错，table not found
zhaoguowei的博客
04-02 2908
运行通过maven构建好的jar出错： Exception in thread “main” org.apache.spark.sql.catalyst.analysis.NoSuchTableException: Table or view ‘zgw’ not found in database ‘default’; Exception in thread "main" org.apache.s...
idea中SQL语言错误提示：无法解析表
热门推荐
Mrrr_Li的博客
07-31 1万+
解决方法： 先按照这位老兄的步骤 连接到MySql后，连接到你SQL语句对应的表，然后就不爆红了。
使用idea集成开发工具， 使用sparksql对hive数据进行操作报错 Error creating transactional connection factory javax.jdo.JDOF
T_Y_F_的博客
12-20 965
使用idea集成开发工具， 使用sparksql对hive数据进行操作报错 Error creating transactional connection factory javax.jdo.JDOF
解决idea本地使用sparkSQL操作hdfs文件load命令不生效的情况，并对hive表库进行操作
weixin_45937224的博客
01-12 517
解决idea本地使用sparkSQL操作hdfs文件load命令不生效的情况，并对hive表库进行操作
Spark不能使用Hive自定义函数
最新发布
weixin_41367158的博客
03-06 139
在pyspark中 使用sparksql执行sql语句时，发现自定义udf函数不能使用。
hive on spark向数据库中插入数据的时候报错
weixin_44063328的博客
05-05 2551
问题描述 搭建了hive on spark集群，并且已有数据库，向数据库中插入数据的时候报错。 create table student(id int, name string); insert into table student values(1002,‘lisi’); hive> insert into student values(1002,'lisi'); Query ID = atguigu_20220505185820_0f520b40-7a94-4485-b5d1-3d85ec50ad
【大数据技术】搭好的集群使用Spark-SQL连接Hive后，无法再次正常使用hive查询数据
u011762522的博客
08-27 1225
【大数据技术】搭好的集群使用Spark-SQL连接Hive后，无法再次正常使用hive查询数据
sparksql hive插入时间数据时格式化时间
03-24
可以使用from_unixtime函数将时间戳转换为指定格式的时间字符串，例如： INSERT INTO table_name (time_column) VALUES (from_unixtime(unix_timestamp('2021-01-01 12:00:00', 'yyyy-MM-dd HH:mm:ss')))
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值