数仓工具—Hive架构服务(16)

最新推荐文章于 2022-12-12 09:44:45 发布
最新推荐文章于 2022-12-12 09:44:45 发布
阅读量5w 收藏
点赞数 2
分类专栏： # Hive 文章标签： 大数据 数据仓库 面试 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/king14bhhb/article/details/111777544
版权

Hive 服务详解

前面我们学习数仓工具—Hive的架构设计 的时候学到了很多概念，像元数据服务什么的，其实架构设计里的每一项都对应的是一种服务或者是一个进程，这节我们就学习一下它

元数据服务(MetaStore)

Metastore 初识

按官网的介绍，不管是使用Hive CLI、客户端还是HWI访问Hive，都需要首先启动Hive 元数据服务，否则无法访问Hive数据库。否则会报异常

2020-12-22 21:36:12,203 INFO  [1667ccc9-b01a-4f12-af7f-6ad7a563f46e main] metastore.HiveMetaStoreClient (HiveMetaStoreClient.java:open(441)) - Trying to connect to metastore with URI thrift://localhost:9083
2020-12-22 21:36:12,224 WARN  [1667ccc9-b01a-4f12-af7f-6ad7a563f46e main] metastore.HiveMetaStoreClient (HiveMetaStoreClient.java:open(526)) - Failed to connect to the MetaStore Server...
2020-12-22 21:36:12,224 INFO  [1667ccc9-b01a-4f12-af7f-6ad7a563f46e main] metastore.HiveMetaStoreClient (HiveMetaStoreClient.java:open(557)) - Waiting 1 seconds before
了解本专栏 订阅专栏 解锁全文 超级会员免费看
不二人生
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
webhcat-gui:用于 hive 的 hadoop webhcat gui
06-27
用于查询 hive 的简单 webgui。 在制品 去做： 清理通知 单击时查看和作业详细信息 日志功能 清洁和移动有角度的前端 为状态图添加缩放功能 要求： 网猫 蜂巢 0.12 <
sqoop导入hive遇到的一些问题
玉麒麟
09-05 2240
Required table missing : "DBS" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either your MetaData is incorrect, or you need to enable "datanucleus.schema.autoCreateTables" org.datanucleus.store.rdbms.except
WebHCat配置详解--官网中文翻译
JacksonKing的专栏
04-28 790
配置文件 WebHCat (Templeton)的配置将常规Hadoop配置与特定于WebHCat的变量合并在一起。因为WebHCat的设计目的是连接通常不连接的服务，所以配置要复杂得多。 特定于webhcat的配置分为两层: webhcat-default.xmlWebHCat需要的所有配置变量。这个文件设置了WebHCat附带的默认值，并且只能由WebHCat开发人员更改。不要复制此文...
WebHCat安装--官网中文翻译
JacksonKing的专栏
04-28 701
WebHCat与Hive的安装 目录 WebHCat与Hive的安装 WebHCat安装过程 服务器命令 要求 Hadoop 分布式缓存 权限 集群安全性 代理用户支持 版本 WebHCat和HCatalog与Hive一起安装，从Hive release 0.11.0开始。 如果从二进制tarball安装Hive, WebHCat服务器命令webhcat_server.sh...
hive、impala的客户端，cli、beeline、WebHCat
DCHAO的博客
04-12 3318
连接hive有2种形式，shell和jdbc（beeline） 一、shell 二、beeline 整合kerberos时设置要principal是hive服务的，登录用户是krb认证的，krb认证谁beeline当前用户就是谁。 ...
hive数仓、hive SQL 、 hive自定义函数 、hive参数深入浅出
03-24
hive数仓、hive SQL 、 hive自定义函数 、hive参数深入浅出
数仓hive.pdf
04-08
hive.pdfhive.pdfhive.pdfhive.pdfhive.pdfhive.pdfhive.pdfhive.pdf
Hive表生成工具，Hive表生成工具Hive表生成工具
03-10
Hive表生成工具，Hive表生成工具Hive表生成工具
界面工具DBeaver连接hive驱动jar包
02-23
个人认为DBeaver还是很强大，很好用的，它支持多种数据库的连接。该资源为DBeaver连接hive的jar包驱动，只要hive配置文件已配置完成，编辑添加此驱动，即可成功连接...通过界面工具查看分析hive里的数据要方便的多哦！
hive执行计划可视化工具
最新发布
05-31
hive执行计划可视化工具
hive3.1.2安装
ASN_forever的博客
11-23 1063
下载安装包 https://pan.baidu.com/s/17qYstZwDRV5tjkysCfeEZw 提取码：ue1l 解压到指定目录，如/opt/bigdata/hive-3.1.2 配置环境变量 export HIVE_HOME=/opt/bigdata/hive-3.1.2 export PATH=$PATH:$HIVE_HOME/bin 修改配置文件hive-site.xml Hive的默认配置文件是hive-default.xml.template，但里面有些错误。因此这里
hadoop 3.x 案例2:登陆hive异常 Unable to find config file hivemetastore-site.xml
只是甲的博客
12-12 963
大数据开发 Hive 显示异常
Hive技术原理
曹世宏的博客
06-02 7958
Hive概述 数据仓库的概念： 数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。 传统数据仓库面临的挑战： 无法满足快速增长的海量数据存储需求。 无法有效处理不同类型的数据。 计算和处理能力不足...
Hive：使用当前的WebHCat并提供rest api功能
编程学习者的博客
06-23 2348
1.声明 当前内容主要用于本人学习和复习，当前内容主要为启动当前的WebHCat和测试和解决其中出现的问题 2.首先启动当前的WebHCat cd hcatalog/sbin/ ./webhcat_server.sh start 这表示启动成功了 3.查看官方的使用方式 通过示例发现：当前的WebHCat是占用的端口为：50111 通过命令查看端口 netstat -nltp 4.使用web方式访问 查看状态 http://192.168.1.102:50111/templeton/v1/sta
07 通过webhcat访问hive
张力的程序园
06-16 1282
WebHCat提供了Rest接口，使用户能够通过安全的HTTPS协议执行行Hive DDL操作、运行Hive HQL任务、 运行MapReduce任务等。webhcat是与hcatalog一起发布的。本节就简述一下webhcat的用法。 1、前提约束 通过Hcatalog访问hive https://www.jianshu.com/p/9a4a7eb9c219 2、操作步骤 启动webhc...
WebHCat使用指南--官网中文翻译
JacksonKing的专栏
04-28 2953
目录 WebHCat介绍 URL 格式 安全性 标准参数 安全错误响应 WebHDFS和代码推送 错误代码和响应 项目名称 版本信息 HCatalog项目毕业于Apache孵化器，并于2013年3月26日与Hive项目合并。 Hive版本0.11.0是第一个包含HCatalog及其REST API WebHCat的版本。 WebHCat介绍 本文档描...
HiveCatalog 介绍与使用
cloudbigdata的博客
07-20 3856
作者：苏文鹏，腾讯 CSIG 工程师一、背景Apache Hive 已经成为了数据仓库生态系统中的核心。它不仅仅是一个用于大数据分析和 ETL 场景的 SQL 引擎，同样它也是一个数据管理平台，可用于发现、定义和演化数据。Flink 与 Hive 的集成包含两个层面：一是利用了 Hive 的 Metastore 作为持久化的 Catalog，用户可通过 HiveCatal...
hive无法启动的错误metastore.HiveMetaStoreClient
rainbow_lasia的博客
09-28 4126
重点在后面！ 删除了master的/tmp目录，结果jps和bin/hive就不能用了，从slave上复制了一份过来，可是jps之后什么都没有··只好重新启动了集群，还是没有，查看了刚复制过来的/tmp，有了本来应该有的.sh文件。/tmp目录下的文件应该是启动时自动创建的，于是我重新启动了master虚拟机，然后jps就有了~好开心 :D 可是bin/hive还不能用···报告缺少目录#s...
sql server搭建数仓与hive的区别
05-18
SQL Server和Hive都可以用来搭建数据仓库，不过它们有以下几点不同： 1. 数据存储格式：SQL Server一般使用关系型数据库的方式存储数据，而Hive则采用Hadoop分布式文件系统（HDFS）的方式存储数据，通常使用的是列式存储格式。 2. 数据处理方式：SQL Server在处理数据时，通常使用SQL语句进行数据查询和分析，而Hive则使用HiveQL语言进行数据处理，它是基于SQL的，但它更适合大规模数据处理，并且支持MapReduce和Spark等分布式计算框架。 3. 执行效率：由于SQL Server是专门为关系型数据库设计的，所以对于大数据量的处理效率较低。而Hive则是针对海量数据设计的，可以通过MapReduce的方式进行分布式处理，从而提高了数据处理的效率。 4. 数据规模限制：SQL Server的数据规模相对较小，通常用于中小型数据仓库，而Hive则适合处理大规模的数据仓库，可以处理PB级别的数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不二人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值