Hive记录

已于 2022-02-07 15:02:26 修改
阅读量801 收藏 1
点赞数
文章标签： hive 数据仓库 hadoop
于 2022-01-10 12:30:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lynnand/article/details/122342007
版权
本文介绍了在使用Hive时遇到的两个常见问题及其解决方案：1. 解决Name node处于安全模式的问题，需关闭hdfs的安全模式。2. 针对User: root不允许impersonate root的报错，通过修改core-site.xml配置文件并重启Hadoop来修复。同时，针对HDFS出现missing blocks错误，给出了通过hdfs fsck命令检查和删除坏块的步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hive ：由 Facebook 开源用于解决海量 结构化 日志的数据统计工具。
Hive 是基于 Hadoop 的一个 数据仓库工具 ，可以将 结构化的数据文件映射为一张表 ，并
提供 类 SQL 查询功能
Hive 本质 ：将 HQL 转化成 MapReduce 程序
1 ） Hive 处理的数据存储在 HDFS
2 ） Hive 分析数据底层的实现是 MapReduce
3 ）执行程序运行在 Yarn 上
HQL与SQL区别:
由于 Hive 是针对数据仓库应用设计的ÿ
最低0.47元/天 解锁文章
Lynnand
关注
CDH6 Hive开启审计日志，审查SQL
cn_lynn的专栏
03-14 845
需要对CDH6的hive 执行SQL做记录，单独文件以供审计。CDH没有显性开关来配置，需要通过log4j2日志配置，将org.apache.hadoop.hive.metastore.HiveMetaStore.audit 类输出的审计内容写到独立文件。
搭建Spark集群
蔡先生的专栏
03-17 5048
前提：系统已经安装了：JDK  Scala  Hadoop 1.解压安装包到指定目录 2.配置spark-env.sh export SCALA_HOME=/usr/scala export SPARK_HOME=/usr/spark export JAVA_HOME=/usr/java/jdk export HADOOP_CONF_DIR=/usr/hadoop/etc/hado
本地Spark连接Hive异常问题
狂奔的蜗牛
07-08 7249
环境：idea spark2.2 hive1.1 maven3 场景：本地运行Spark代码，连接Hive集群查询数据： 本地设置了SPARK_HOME、SCALA_HOME 将hive-site.xml复制到本地的%SPARK_HOME%/conf/路径下 代码如下： def main(args: Array[String]): Unit = { val wareho...
第57课：SparkSQL案例实战学习笔记
kwame211的博客
03-20 423
第57课：SparkSQL案例实战学习笔记 本期内容： 1.SparkSQL基础案例实战 2.SparkSQL商业类型的案例 进入Spark官网的sql-programming-guide： http://spark.apache.org/docs/latest/sql-programming-guide.html#getting-started 可以看到 The entry point in...
本地IDEA中使用Spark SQL 连接服务器Hive
热门推荐
jzy3711的博客
02-19 28万+
1. 复制hive-site.xml 将Spark-Home/conf目录下的hive-site.xml复制到IDEA工程的resource目录下 2. 修改入口 Spark 2.x版本将SparkContext和HiveContext整合起来，统一使用SparkSession作为连接入口。所以建立连接需要使用如下代码 val conf = new SparkConf() conf.setAp...
hive初始化过去但是执行hive命令时报异常
qq_42048263的博客
05-13 5938
执行hive时报如下异常 [hadoop@namenode ~]$ hive which: no hbase in (/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/hadoop/.local/bin:/home/hadoop/bin:/usr//java/jdk-14.0.1/bin:/usr/local/hadoop/bin:/usr/local/hadoop/sbin:/usr/local/hive/bin) SLF4J: C
spark或mr引擎插入的数据，hive表查询数据为0
02-28
其中一种常见的问题是，在使用Spark或MR引擎对Hive表进行数据插入后，通过Hive查询这些数据时，结果却显示为0条记录。具体表现为用户反馈在使用Tez引擎查询时可以得到正确结果，但在使用Spark-SQL查询同一张表时却...
Hive学习记录
09-15
Hive学习记录，一些关于hive分桶、分区的知识。有需要自己下载。
hive学习记录
05-16
【Hive学习记录】 Hive 是一种基于 Hadoop 的数据仓库工具，用于处理和管理大数据。它提供了 SQL 类似的查询语言——HQL (Hive Query Language)，使得非程序员也能轻松进行大数据分析。以下是对Hive的一些关键知识...
Hive启动错误
weixin_44104007的博客
08-23 1005
不知道怎么回事，启动hive出现这种错误。 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/software/hive/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class] ...
SpringBoot Nacos 读取不到配置（版本2.4.6）
小单的博客专栏
06-03 6454
现象 按照官方文档 https://nacos.io/zh-cn/docs/quick-start-spring-cloud.html 进行配置后，抛异常报错，无法获取配置。 所有依赖配置如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
第69课：SparkSQL通过Hive数据源实战学习笔记
slq1023的博客
04-10 9722
第69课：SparkSQL通过Hive数据源实战学习笔记 本期内容： 1 SparkSQL操作Hive解析 2 SparkSQL操作Hive实战   数据源：home/richard/slq/spark/people.txt和/home/richard/slq/spark/peoplescores.txt两个文件。 people.txt的文件内容： Michael 29 Andy
第71课：Spark SQL窗口函数解密与实战学习笔记
slq1023的博客
04-13 8069
第71课：Spark SQL窗口函数解密与实战学习笔记 本期内容： 1 SparkSQL窗口函数解析 2 SparkSQL窗口函数实战   窗口函数是Spark内置函数中最有价值的函数，因为很多关于分组的统计往往都使用了窗口函数。 Window Aggregates (Windows) Window Aggregates (aka Windows) operate on a grou
JDBC远程连接hiveserver2
ChayCao
11-13 762
转自http://www.mamicode.com/info-detail-1563222.html我在 JDBC 连接 Hive 的过程中遇到了很多问题，主要是两大问题： 第一个问题: 没有开启 hiveserver2 服务,对该概念理解不到位，以为像 CLI 一样直接就能连接 Hive； 第二个问题：缺少了　hadoop-2.2.0/share/hadoop/common/hadoop-comm
Apache Spark 1.4 读取 hadoop 2.6 文件系统上文件
weixin_30265103的博客
07-12 97
scala> val file = sc.textFile("hdfs://9.125.73.217:9000/user/hadoop/logs") scala> val count = file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_) scala> co...
jdbc远程连接hiveserver2
u010842515的博客
04-26 8507
本文将以HiveServer2为例，介绍并编写远程操作的Hive的Java API。
记1次nacos拉取不到配置问题
Ellen_Tangxiang的博客
12-06 3517
nacos拉取不到配置问题
hive表行记录更新
最新发布
05-13
好的，用户现在的问题是在Hive中如何更新行记录，或者按天分区查找某个字段值的上一条数据。首先，我需要回顾之前的对话历史，看看用户之前的需求和我的回答。 用户之前询问的是如何按天分区查询TotOdoAcrt值的上一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值