hive操作命令及碰到的问题

已于 2024-02-22 11:32:06 修改
阅读量161 收藏
点赞数
分类专栏： 大数据 文章标签： hive 大数据 hadoop
于 2023-05-15 10:00:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jquery_learn/article/details/130677172
版权

命令：切换到hive的安装目录，输入：./bin/hive

参考：Hive安装使用 - 菜鸟学院

问题：

1、切换到hive的安装目录下，输入hive，报错java.io.CharConversionException: Invalid UTF-8 middle byte 0xe4 (at char #93, byte #20)

处理：hive-site不能有注释部分

2、hadoop fs -mkdir /hive/warehouse提示No such file or directory

直接在目录下创建好的也不行。

处理：切换到/目录，一级级创建

hadoop fs -mkdir /hive

cd /hive

hadoop fs -mkdir /hive/warehouse

授权

hdfs dfs -chmod 755 /hive/warehouse

3、hive客户端不能使用

mapred-site.xml

增加配置

<property>
    <name>yarn.application.classpath</name>
    <value>/usr/local/hadoop-3.3.6/etc/hadoop,
    /usr/local/hadoop-3.3.6/share/hadoop/common/lib/*,
    /usr/local/hadoop-3.3.6/share/hadoop/common/*,
    /usr/local/hadoop-3.3.6/share/hadoop/hdfs,
    /usr/local/hadoop-3.3.6/share/hadoop/hdfs/lib/*,
    /usr/local/hadoop-3.3.6/share/hadoop/hdfs/*,
    /usr/local/hadoop-3.3.6/share/hadoop/mapreduce/lib/*,
    /usr/local/hadoop-3.3.6/share/hadoop/mapreduce/*,
    /usr/local/hadoop-3.3.6/share/hadoop/yarn,
    /usr/local/hadoop-3.3.6/share/hadoop/yarn/lib/*,
    /usr/local/hadoop-3.3.6/share/hadoop/yarn/*
    </value>
  </property>

learn_step
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hive操作命令
06-30
hive操作命令,1.创建表（会在数据仓库目录中创建一个records文件夹） 始化表数据（会把文件上传到数据仓库的records文件夹下）;重新导入数据会把以前的数据删除掉。
Hive安装与配置及常见问题解决
zhaottttt的博客
10-14 1384
Hive安装与配置及常见问题解决
nested:YAMLException[java.io.CharConversionException: Invalid UTF-8
qq_41649001的博客
05-25 1031
遇到的问题   最近在搭建ES集群的时候，修改了ES的yml配置文件，在启动ES节点的时候，发现输出了如下错误：   报错信息显示是：字符编码格式转换有问题 解决方式   检查自己打开配置文件的文本编辑器，正常修改完配置文件之后，直接使用ctrl+s进行文本保存，这样的话，文本编辑器可能会将配置文件的编码格式修改了。   因此我们可以选择（另存为）的方式，指定编码格式为utf-8即可 ...
hadoop安装启动后报错：CharConversionException: Invalid UTF-8 middle byte
Poppy_Evan的博客
02-22 1599
前言 安装完windows版的hadoop后，执行命令hdfs namenode -format后报错，如下图： 原因 根据报错内容，可知： （1）hdfs-site.xml文件出的问题 （2）UTF-8编码问题 处理 修改hdfs-site.xml文件编码为utf-8 点击第一个图红框位置后，弹出第二个图，选择utf-8后确定即可（我使用的是EverEdit的文本编辑器） ...
hive执行sh脚本时报错No such file or directory的解决办法
ScriptFlying的博客
03-17 9515
一、对于在服务器上新上传的start.sh脚本，启动时容易出现，-bash:./start.sh:/bin/sh^M: bad interpreter:No such file or directory 那么这是什么原因造成的呢，一般情况是因为该sh脚本的格式不正确，如果这个脚本在你本地修改过（使用txt、notepad++打开修改），可能在保存的时候会默认把文件的格式保存为： doc格式（windows系统）、mac（苹果系统），那么在上传到xshell（unix系统）后，unix系统是不支持doc（ma
Hive 笔记一 hive安装问题
文报的博客
07-08 1266
安装hive时遇到的问题: 1.Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxIOException: Invalid UTF-8 middle byte 0xfd (at char #92, byte #53) 解决办法:查看hive-site.xml文件 文件中是否有中文，删除中文。 2.org.apache.hadoop.hive.metastore.HiveMetaException: Fail
Hive 基本命令操作1
08-03
1.创建分区表语法 1.创建二级分区表 2.正常的加载数据 3.查询数据
hive常见命令
01-20
hive常用命令 1、进入hive数据库：hive 2、查看hive中的所有数据库：show databases; 3、用default数据库：use default; 4、查看所有的表：show tables; 5、查询表结构：desc mytest（表名）; 6、查询表数据： ...
Hive常用命令
01-07
在启动Hive之前，必须先启动hdfs和yarn $ sbin/start-dfs.sh $ sbin/start-yarn.sh 启动hive。 $ bin/hive 查看数据库 hive> show databases; 打开默认数据库 hive> use default; 显示default数据库中的表 hive> ...
hive常用命令+日常
最新发布
02-26
hive常用命令+日常
mkdir: cannot create directory `**': No such file or directory
热门推荐
MyySophia的博客
08-23 1万+
在mkdir时报错的解决方案，在网上找了很多文章都没有说清楚原因。 mkdir: cannot create directory `/home/image_path/201908/23/': No such file or directory 我的脚本很简单，在指定目录生成年月和日，如果不存在则创建。 #!/bin/bash date_str=`date +%Y%m` date_str...
hive中执行任何命令都卡住
weixin_42037960的博客
05-23 2552
一、查看log文件发现是jdbc数据驱动无法连接 二、打开hive-site.xml发现<value （>)中hive后面多了空格 <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://192.168.1.68:3306/hive </value> </property> 三、解决方法：把空格删
Hive 无法进入命令行，卡住不动
09-10 9053
今天想通过执行“hive”命令进入命令行查数据，发现一只卡住不动，如下： 查看日志也没发现有什么错误信息，于是退出命令，通过DEBUG模式重新进入命令行： hive -hiveconf hive.root.logger=debug,console 发现是hdfs NameNode连接异常，然后巴拉巴拉一顿处理（重启hdfs →_→），解决。 每个人情况都会有所不同，根据debug信息...
Linux集群中解决Hive交互shell中 show databases没有反应(包含Hive按照步骤)
qq_45739020的博客
11-19 2487
1.第一种解决方案 在Hive服务中输入命令行代码一定要规范，输入完命令行代码后要以 ； 结尾 错误示范效果（没有以 ; 结尾的）示例： Hive 服务都是不识别的 正确示范效果 如果不是如上所述那就只能逐一排查 第二种解决方案（包含安装Hive） 第一步：查看系统自带的mysql的rpm包 （确认是否少包） rpm -qa | grep mysql 第二步：安装mysql的rpm包...
hive的“坑笔记“----------------------进入hive命令模式，卡主不动的解决方案
健康平安的活着的专栏
08-09 2335
今天，上班后，进入hive模式，输入hive的sql命令，光标一直在闪烁，没有回显结果，重新启动集群也无济于事，折腾了一上午，中午午休，灵感上来之后，查看一下是否能ping通hive元数据库所在的mysql服务器，是否ping通，结果发现，ping不同，然后咨询运维，麻蛋，他们给做了限制，hive访问不了元数据库所在的服务器导致的。之后让他们放开，ok了，见下图： ...
Hive可以成功启动却无法执行语句的解决
CloudInSky1的博客
09-21 2217
本文记录了“Hive可以成功启动却无法执行语句”这一问题的出现、探索和解决。
hive正常安装后执行任何命令都会卡住
yukuaifeng的博客
12-15 5610
这次只是简单记录一下困扰了我两天的一个问题：         起初，我按照网上的步骤安装好了MySQL5.6，又安装了hive2.3，成功初始化启动，但是进入了命令行之后，不管是执行什么命令，sql命令甚至是exit，都会卡住，而且是无限卡住，我根本找不到原因，找了很多教程，确认了很多遍我的配置是没错的，还是没有任何办法。 后来我看到了一个教程，说明问题出在了hive-site.xml的配置上，
Elastisearch YAMLException: java.io.CharConversionException: `Invalid UTF-8异常
weixin_42460596的博客
03-19 575
根据报错信息，貌似是说他需要utf-8的信息，然后我给的好像不能解析。然后我用的是editplus进行编写的，然后查一下的默认编码是什么？他默认保存的是ANSI编码，所以是保存编码的时候出现问题了。
JacksonYAMLParseException[java.io.CharConversionException: Invalid UTF-8 start byte 0xff
baiwenjiebwj的博客
08-04 1079
项目场景： 公司内部n个服务的日志比较混乱，管理起来很麻烦，准备引入ELK日志管理系统 问题描述： 在配置ElasticSearch集群后启动的时候报错如下： 原因分析： 从报错上可以看出是读取yml配置文件的时候编码错误，建议使用UTF-8 解决方案： 解决办法当然是修改yml文件的编码格式： 我用的是EverEdit编辑器。其他一些编辑器应该也会支持修改编码格式。但一些编辑器即使改完保存完，再次打开的时候还是会重新编程初始的编码格式，不知道具体为什么，反正我是踩过好几次这个的坑。 此处建
idea 方式用spark连接hive，并保存数据（问题及解决）
08-07
### 回答1： 问题：如何使用Spark连接Hive，并将数据保存到Hive中？ 解决方法： 1. 确认Hive的配置信息 在Spark中连接Hive之前，需要确认Hive的配置信息是否正确。可以通过以下命令查看Hive的配置信息： ``` hive --config /path/to/hive/conf -e "set;" ``` 2. 创建SparkSession对象 使用Spark连接Hive需要创建SparkSession对象，可以通过以下代码创建： ``` from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("Spark Hive Example") \ .config("spark.sql.warehouse.dir", "/path/to/hive/warehouse") \ .enableHiveSupport() \ .getOrCreate() ``` 其中，`appName`为应用程序名称，`config`为Hive的仓库目录，`enableHiveSupport`为启用Hive支持。 3. 读取Hive表数据 使用Spark连接Hive后，可以通过以下代码读取Hive表数据： ``` df = spark.sql("SELECT * FROM hive_table") ``` 其中，`hive_table`为Hive中的表名。 4. 将数据保存到Hive中 使用Spark连接Hive后，可以通过以下代码将数据保存到Hive中： ``` df.write.mode("overwrite").saveAsTable("hive_table") ``` 其中，`mode`为写入模式，`saveAsTable`为保存到Hive表中。 完整代码示例： ``` from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("Spark Hive Example") \ .config("spark.sql.warehouse.dir", "/path/to/hive/warehouse") \ .enableHiveSupport() \ .getOrCreate() df = spark.sql("SELECT * FROM hive_table") df.write.mode("overwrite").saveAsTable("hive_table") ``` 注意：在使用Spark连接Hive时，需要确保Spark和Hive的版本兼容。 ### 回答2： 问题：如何使用Spark连接Hive并保存数据？ 解决方法：要使用Spark连接Hive并保存数据，需要按照以下步骤进行操作： 1. 配置Spark环境：确保安装了Spark和Hive，并在Spark配置文件中指定Hive的配置信息。 2. 创建SparkSession：在Spark中，可以通过创建SparkSession与Hive进行交互。可以使用以下代码创建一个SparkSession对象： ```scala val spark = SparkSession.builder() .appName("Spark Hive Example") .config("spark.sql.warehouse.dir", "/user/hive/warehouse") .enableHiveSupport() .getOrCreate() ``` 3. 加载Hive表数据：可以使用SparkSession的read方法加载Hive表数据，并创建一个DataFrame对象，例如： ```scala val data = spark.read.table("database_name.table_name") ``` 4. 在DataFrame上进行转换和处理：可以对加载的数据进行各种转换和处理操作，例如添加新列、过滤数据等。 5. 保存数据到Hive表：可以使用DataFrame的write方法将数据保存到Hive表中，例如： ```scala data.write.mode("overwrite").saveAsTable("database_name.table_name") ``` 这将会将数据覆盖性地保存到指定的Hive表中。 以上就是使用Spark连接Hive并保存数据的基本步骤。通过配置环境、创建SparkSession对象、加载Hive表数据、进行数据转换和处理以及保存数据到Hive表，可以实现Spark与Hive的连接和数据操作。 ### 回答3： 问题： 在使用Spark连接Hive并保存数据时，可能会遇到以下问题： 1. 如何在Spark中连接Hive？ 2. 如何将Spark处理的数据保存到Hive表中？ 解决方案： 1. 在Spark中连接Hive可以通过配置Hive元数据连接来实现。首先，确保在Spark的配置文件中，如spark-defaults.conf中，设置了Spark的master地址。然后，引入Hive的依赖，创建一个SparkSession对象，并设置其配置属性hive.metastore.uris为Hive的元数据存储地址。例如： ```python from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("Spark Connect Hive") \ .config("spark.master", "local") \ .config("spark.sql.warehouse.dir", "hdfs://<HDFS路径>") \ .config("hive.metastore.uris", "thrift://<Hive元数据存储地址>") \ .enableHiveSupport() \ .getOrCreate() ``` 在这个示例中，我们使用`enableHiveSupport()`来启用Hive支持，并设置了Hive的元数据存储地址。 2. 将Spark处理的数据保存到Hive表中可以使用Spark的DataFrame API或SQL语句来实现。首先，通过Spark从各种数据源（如HDFS、关系型数据库等）读取数据，并转换为DataFrame。然后，使用DataFrame的`write.saveAsTable(<表名>)`方法将数据保存到Hive表中。例如： ```python # 从HDFS读取数据并转换为DataFrame df = spark.read.load("hdfs://<HDFS路径>") # 将DataFrame保存到Hive表中 df.write.saveAsTable("<表名>") ``` 通过上述代码，我们可以将DataFrame保存为Hive表。还可以根据需要使用其他选项，如`mode`来指定保存模式（例如追加、覆盖等），以及`partitionBy`来指定分区列。 总结： 通过设置Spark的配置属性，我们可以在Spark中连接Hive。然后，通过使用Spark的DataFrame API或SQL语句，我们可以将Spark处理的数据保存到Hive表中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值