Hive的初始化和架构

最新推荐文章于 2023-06-10 11:26:39 发布
最新推荐文章于 2023-06-10 11:26:39 发布
阅读量519 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SmallIPPig/article/details/83278703
版权

Hive的初始化：

1.Hive是一个构建数据库的工具
2.两份数据 源数据 和 元数据（其中包括行的分隔符和字段的分隔符字段类型和字段名称，用来将来映射成表的时候可以明确有多少行和多少列）
3.mysql是把数据存储到本地磁盘，hive把源数据存放在HFDS上，把元数据存在了数据库中
4.Hive支持sql语句进行数据的处理

5.hive操作从sql到MR的过程

在这里插入图片描述

HIVE架构：

在这里插入图片描述

Small-lP-Pig
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CDH使用之Hive元数据库的修改
07-01 602
一、 配置前准备 1、 添加hive组件 在CM端，我们首先安装hive服务： 主页-添加服务   选择hive服务   选择依赖项，可能有多个依赖关系   自定义角色分配   选择数据库，选择mysql数据库，自定义数据库-测试连接   注：此处需要先在服务器上配置了相应的mysql数据库（参看数据库准备），然后此处填相应的数据库名称、用户名、密
hive 初始化运行流程
bupt041137的专栏
06-18 1999
更多更新在javaeye  http://bupt04406.iteye.com/blog/1096504  CliDriver 初始化过程 CliDriver.main  是 Cli 的入口 （1） 解析(Parse)args，放入cmdLine，处理 –hiveconf var=val  用于增加或者覆盖hive/hadoop配置，设置到System
初始化、启动hive
一叶知秋
10-24 559
hive初始化，启动
Hive连接mysql驱动，初始化Hive元数据
最新发布
dameijiangshan的博客
06-10 1201
驱动一：Hive连接datagrip的驱动路径+驱动名称：D:\黑马更新主线任务\主路线\5-Hadoop&Hive\Python+大数据：Hadoop离线阶段\05--数据仓库、Apache Hive\2、软件\hive3 jdbc驱动\hive-jdbc-3.1.2-standalone.jar。②显示mysql的驱动显示异常，就说明Hive连接mysql驱动出现异常，说明在Hive驱动，因为mysql驱动我们没动。①显示驱动未加载成功，但是我们上面上传驱动显示是成功的，所以说明上传没问题，传错了。
hive初始化
微电子学与固体电子学-俞驰
03-26 751
①mysql要配置成远程可访问 ②初始化(只需要一次) schematool -dbType mysql -initSchema ③hive --service metastore &(每次都需要，对接mysql需要) ④启动hive
hive编译源码的资料
03-08
- 使用`bin/hive`脚本启动Hive的交互式Shell，或者通过`schematool`命令初始化元数据。 9. **自定义Hive**： - 如果你对Hive进行了定制，例如添加新的UDF（用户自定义函数）或者改进现有功能，那么你需要重新编译...
hive学习笔记精华版
10-08
初始化Hive：首次启动Hive时，它会自动创建必要的表和元数据。 在实际应用中，理解Hive的这些基本概念和操作对于有效管理和查询大数据至关重要。此外，还需要掌握HQL（Hive Query Language）的语法，如SELECT、...
hive安装包Linux包
05-05
6. **初始化MetaStore**: 运行`sbin/hive --service metastore`初始化MetaStore服务。 7. **启动Hive**: 运行`sbin/hive`启动Hive CLI（命令行接口）。 8. **创建表和加载数据**: 使用HQL创建表并从HDFS加载数据。...
apache-hive-2.3.2-bin.tar.gz
08-08
3. **初始化 Metastore**：创建 MySQL 数据库并配置相应的表，然后运行 `schematool` 命令初始化元数据。 4. **启动 Hive**：运行 `hive` 或 `beeline`（Hive 的命令行客户端）命令启动服务。 5. **测试**：创建一...
rpi-hive-3.1.2.tar.gz
07-13
当程序运行时需要的内存超过分配的堆内存大小，就会抛出"JAVA HEAP SIZE"错误，通常需要通过调整JVM的-Xms和-Xmx参数来增大初始和最大堆内存大小。 Apache Hive的核心特性包括： 1. 数据仓库工具：Hive可以将结构化...
CDH重新初始化Hive元数据库
qq_32068809的博客
10-21 2297
初始化元数据需要使用cdh hive中的schematool 脚本工具进行初始化，初始化脚本位置为cloudera/parcels/CDH/lib/hive/bin/ 接下来执行初始化命令 ./schematool -initSchema -dbType mysql --verbose 执行报错： [root@prod-bigdata-pc7 bin]# ./schematool -dbType mysql -initSchema -passWord root -userName root --
hadoop-hive初始化
SoundSlow的博客
05-06 2714
围绕大数据、数据挖掘、人工智能有很多名词，这些名词都互相关联，不太懂的人可能只是把他们当做高级码农的一个分支，但是，其中的真正技术却并不是一半码农能够做的，或者这些领域可能就不是码农干的事，即便做这些的人可能是个java或者python开发者，但是编程只是他们的副业而已，他们的主业却是数据科学。但是，有一个问题，既然是副业，也就是说这些数据科学家并不是太会编程，然而，不会编程，数据处理时很艰...
hive第一次启动需要初始化
tclwh123的博客
11-23 4975
schematool -dbType mysql -initSchema
安利：Hive初始化元数据库教程
热门推荐
想练武，就得下功夫
05-25 1万+
Hive初始化元数据库这是一个大数据开发人员必会操作，下面开干！ 文章目录0、准备工作1、登录MySQL数据库2、MySQL创建hive数据库3、打开Hive客户端，初始化元数据仓库4、查看Hive元数据仓库中是否有库、表5、查看MySQL数据库中创建的hive数据库6、测试hive元数据仓库 0、准备工作 在hive-site.xml中做好jdbc配置 <property> <name>javax.jdo.option.ConnectionURL</name&.
Hive【一】Hive安装及环境配置 (hive第一次启动初始化命令) 简单命令及内外表创建
weixin_42487460的博客
06-09 5911
Hive安装及环境配置 简单命令及内外表创建一、hive安装步骤安装zookeeper安装hive二、启动hive（第一次启动需初始化）启动hive-jdbc进入beeline界面退出命令三、创建外部表 一、hive安装步骤 前置安装hadoop以及zookeeper，这里演示zookeeper安装步骤 解压 移动 重命名 安装zookeeper 1.进入安装zookeeper目录下conf目录 cd soft/zk345/conf 2.将conf目录下的zoo_sample.cfg拷贝至新文件zoo.c
hive启动初始化
weixin_48293076的博客
06-17 2947
hive第一次启动需要进入hive下初始化 schematool -dbType derby -initSchema 如果第一次初始化失败，需要进行下一次初始化需要 需要在hive下删除：
【CDH】问题解决：CDH5.16重新初始化hive 元数据信息
Mrerlou的博客
11-05 1358
文章目录前言一、重新初始化二、操作步骤1.脚本位置2.执行命令3. 执行报错4. 问题原因：5. 解决方案：6. 重新初始化转载： 前言 之前在搭建CDH集群时，在进行到初始化hive 元数据库时，由于DBA没有放开库所有的权限，导致当时初始化hive元数据信息部分失败。 由于集群当时能够正常使用，于是就没有做过多的考虑，今天在创建hive udf时报错，排查下来是当时初始化表时，缺失了几张表。于是决定重新对hive 元数据库进行初始化。 一、重新初始化 初始化元数据需要使用cdh hive中的sc
hive元数据库理解和初级实操
MicoOu的博客
12-02 759
1. hive元数据库 hive创建一张表，关联HDFS上存储的结构化数据，那么这张表存储在哪里？ 其实hive会把用户创建的数据库表等抽象的信息专门存储在一个数据库中，这个数据库就是-------元数据库。 HDFS存储的数据有两种： ①用户的真实数据，存储在datanode中 ②抽象和管理这些真实数据的数据，叫做元数据，存储在namenode中 namenode类比于书本的目录，datano...
Hadoop数据分析：Hive架构、安装与HiveQL实战
在Hive的安装过程中，通常需要配置Hadoop环境，设置Hive的依赖项，比如Hadoop的路径，以及初始化Metastore。安装完成后，用户可以通过Hive CLI（命令行接口）或更高级的工具（如Hue、Beeline）来交互式地运行HiveQL...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值