Hadoop 复习整理（Hive-（概念））

最新推荐文章于 2024-12-17 23:27:19 发布
最新推荐文章于 2024-12-17 23:27:19 发布
阅读量283 收藏
点赞数
分类专栏： 日常总结 大数据 文章标签： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36290948/article/details/87089434
版权
本文详细介绍了Hive的体系结构，包括用户接口如CLI、JDBC、ODBC和WUI，以及Thrift服务器的作用。解析器、编译器和优化器在HQL处理中的角色，执行器如何执行Job。元数据库存储在关系数据库中，用于管理库、表、分区和数据位置等信息。分区和桶的概念被阐述，强调它们在查询效率和数据组织中的作用。此外，还讨论了Hive的存储格式，如SerDe和不同的文件格式选项。
摘要由CSDN通过智能技术生成

Hive体系结构

用户接口
CLI：Cli 启动的时候，会同时启动一个Hive 副本。
JDBC客户端：封装了Thrift,java应用程序，可以通过指定的主机和端口连接到在另一个进程中运行的hive服务器
ODBC客户端：ODBC驱动允许支持ODBC协议的应用程序连接到Hive。
WUI 接口：是通过浏览器访问Hive
Thrift服务器:
  基于socket通讯，支持跨语言。Hive Thrift服务简化了在多编程语言中运行Hive的命令。绑定支持C++,Java,PHP,Python和Ruby语言。

解析器
编译器:完成HQL 语句从词法分析、语法分析、编译、优化以及执行计划的生成。
优化器:是一个化组件，当前它的规则是：列修剪，谓词下压。
执行器会顺序执行所有的Job。如果Task链不存在依赖关系，可以采用并发执行的方式执行Job。
元数据库:
Hive的数据由两部分组成：数据文件和元数据。元数据用于存放Hive库的基础信息，它存储在关系数据库中，如mysql、derby。元数据包括：数据库信息、表的名字，表的列和分区及其属性，表的属性，表的数据所在目录等

Hive也用数据库，不过只将元数据存储在数据库中，数据存储在HDFS数据仓库中。

分区<

最低0.47元/天 解锁文章
git-explode：将线性的git commit序列分解为主题分支
02-03
Git 是一种分布式版本控制系统，它允许开发者记录代码的修改历史，协同工作，并通过分支和合并来管理项目。在实际开发过程中，有时开发者会在主分支上进行一系列连续的提交，这些提交可能涉及不同的功能或修复。随着...
commit分拆多个 git_Git拆分commit提交
weixin_42511177的博客
12-29 2743
如果感觉某一次提交的内容较多，可以将它们拆分为多个提交。首先看一下提交历史记录，代码如下：[Shell] 纯文本查看 复制代码$ git log --oneline代码运行效果截图如下：在e222850提交中，添加了两个文件one.txt和two.txt，下面将这两个文件拆分出来，然后分别进行提交。首先运行如下代码：[Shell] 纯文本查看 复制代码$ git rebase -i b0aa963...
git 提交后怎么修改commit的描述信息？
Twinkle_sone的博客
11-15 1674
现在应该99%的同学都是使用`git`进行代码版本管理了吧？那么有没有过在代码提交后发现commit的描述信息写错了的情况（`强迫症真的会被逼死`🤯）？那么我们需要怎么修改git提交后的描述信息呢？
微知-git commit -s的作用是什么？如何指定模板文件？(git commit -s、git config --global commit.template .gitmessage)
最新发布
技术札记
12-17 202
如果使用了-s参数，那么在commit的时候，会在commit信息中添加一个Signed-off-by: xxx这个参数的作用是，表示这个commit已经通过签名，并且是这个签名者本人。为什么要做这个呢？因为在GitHub上，我们提交代码的时候，需要通过GPG签名，否则无法通过GPG验证。这样做的好处是，在GitHub上，可以知道这个commit是由谁提交的，并且这个提交已经通过GPG签名。
如何将一个commit拆解为多个commit？
perry0125的博客
02-27 2514
4.git reset HEAD^ 重置代码的状态，将头位置改为未提交状态，当前的commit已经全部撤销。该命令是提取出你的git日志，查看并复制你需要拆解的commit的前一个commitID。5.git add one.txt 一个一个的提交文件，一个一个的编辑commit。本文将介绍使用rebase 命令将一个commit拆解为多个commit。3.进入rebase后，把本次提交的commit需要拆解的位置前面的。以上次提交合并后的 代码为基点（起点），重新编辑你的commit。
commit分拆多个 git_git合并多个commit为一个commit
weixin_30039311的博客
01-12 202
情景1：已经存在了一个commit，下面还会有个commit要提交，下次提完之后我希望看到只有一个commit下次提交代码时执行：git add .git commit --am等待出现窗口，切换为英文状态依次输入shift+冒号q输入q(q即不修改上次的提交名称，如果想修改commit名称，修改后需要wq)后回车即可再git push -f origin xxx即可。情景2：已经提交了两次com...
git 如何重新切分commit
wujianyongw4的博客
04-21 693
有时候对于已经完成的提交想要重新切分成多个commit。 例如，新建三个文件1 2 3，然后一起提交。 commit e8772b47bbd60c8fbfec2652da6501e5b6442fdc (HEAD -> master) Author: xxx <xx.xx@xx.com> Date: Wed Apr 21 13:24:08 2021 +0800 new file 1 2 3 现在我不像让他们一起提交了，我想单个文件提交。这时候用git reset --
【git使用】历史commit的分割（git rebase和 git reset的联合使用）
叮当猫的喵i
01-04 1499
因为每一个commit只会保存它的parent节点，并不知道它的下一个节点时什么。比方说在一次 commit 中，包含了两个编辑过的文件（A 和 B）；commit 01, commit 02, commit 03 为最近的三次提交，是提交时的备注信息。可以配合不同的模式（–mixed, --soft, --hard）达到不同的效果。后，会列出 commit-B 之后的所有 commit，之后 vim 形式操作。该命令主要用于修改历史 commit，如历史 commit 的拆分，合并等。
git-commit-notifier:发送HTML电子邮件提交消息，以拆分在一个步骤中推送的提交。 每个单词突出显示更改
05-10
Git提交通知程序 by Csoma Zoltan (info 'at' railsprogrammer 'dot' net) 发送电子邮件提交消息，以拆分在一个步骤中推送的提交。 电子邮件以文本或HTML格式交付，每个字词都有改进。 电子邮件具有可扫描的主题，...
git-hydra:一个 post-commit 钩子，它有助于将你的工作分成多个分支和 PR
06-16
git-hydra 这是一个 git post-commit 钩子，它将新提交挑选到另一个分支中，有条件地创建分支并可选地创建一个 PR。 这使得快速开发多个独立功能并将它们拆分为分支和拉取请求变得非常容易。 ！重要的！ 这个钩子...
git-partial-hooks:将 git hooks 拆分成多个文件
07-10
git-部分钩子 git partial hooks 实现将允许您在文件中分离多... 只需将您的预提交挂钩放在 pre-commit.d 中，它们将在预提交时执行。 这将使您更容易重用 git 钩子。 你可以 fork 这个仓库并添加你自己的自定义钩子。
我该如何拆分历史记录中的Git提交？
xfxf996的博客
08-02 805
I flubbed up my history and want to do some changes to it. 我摸索了自己的历史，并希望对其进行一些更改。 Problem is, I hav
commit分拆多个 git_(Git)合并多个commit
weixin_34569317的博客
12-29 358
在使用 Git 作为版本控制的时候，我们可能会由于各种各样的原因提交了许多临时的 commit，而这些 commit 拼接起来才是完整的任务。那么我们为了避免太多的 commit 而造成版本控制的混乱，通常我们推荐将这些 commit 合并成一个。1,查看提交历史，git log首先你要知道自己想合并的是哪几个提交，可以使用git log命令来查看提交历史，假如最近4条历史如下：commit 3c...
commit分拆多个 git_Git使用的最小命令组合
weixin_34707242的博客
12-30 212
原创git：addcommit -mpush origin mastergit clone 接下来主要使用这几个命令的组合：add 、commit、reset、checkout前言在进入Git之前，要明白Git的三个分区是什么，否则的话没办法理解git的原理。Git的三个分区分别是：working directorystage/index areacommit historyworking dir...
git中重新整理commit的几种方法
seven08290的专栏
01-13 1094
一起整理多个commit:https://www.jianshu.com/p/ccab6127cdc3 分割一个commit:https://blog.csdn.net/weixin_33736832/article/details/87960663 合并commit:https://blog.csdn.net/u013276277/article/details/82470177 重...
git 拆分提交
youxiaojie1979的博客
08-15 686
https://stackoverflow.com/questions/59847321/git-split-commit-before-branch
将先前的提交分成多个提交
p15097962069的博客
12-30 1627
如果不创建分支并在新分支上进行大量时髦的工作，是否有可能在将一个提交提交到本地存储库之后将其分解为几个不同的提交？
git 总提示 要提交的变更 新文件_Git内部原理揭秘！从文件更改到代码储存，Git究竟是怎么实现的...
weixin_39732991的博客
10-21 288
新智元推荐来源：腾讯技术工程作者：lzaneli【新智元导读】本文以一个具体实例结合动图介绍了Git的内部原理，包括Git是如何储存我们的代码和变更历史的、在更改一个文件时，Git内部是怎么变化的、Git这样实现有什么好处等等。戳右边链接上新智元小程序了解更多！前言近几年技术发展十分迅猛，让部分同学养成了一种学习知识停留在表面，只会调用一些指令的习惯。我们时常有一种“我会用这...
git把上一步合并的记录拆分为两个记录
11-02
如果已经通过`git rebase -i`将上一步合并的记录视为单一步骤，并且现在想要将其拆分成两个独立的提交，需要重新组织`git rebase -i`中的编辑模式。以下是操作流程： 1. **查看当前状态**：首先确定你在哪个rebase阶段，以及合并后的提交ID。可以用`git status`和`git log`检查。 2. **打开交互式rebase**： ```bash git rebase -merge>` 是在合并之前的一个提交，比如`HEAD~2`，它会让你看到一个包含所有待处理提交的列表。 3. **编辑rebase-i文件**： 编辑器打开后，你会看到类似这样的内容： ``` pick <commit1> pick <commit2> (was squash of <commit3> and <commit4>) ``` `commit2` 是你合并了的那次提交。将 `pick` 改为其他选项，如 `reset` 或 `edit`，表示将这个提交还原成未合并的状态。 - 如果选择 `reset`，Git 会回退到该提交，并保持其父提交不变。 - 如果选择 `edit`，则允许你直接编辑这次合并的改动，然后再提交。 4. **处理合并提交**： 根据你的需求，可以选择一个操作。比如，如果你想拆分，那么将 `pick <commit2>` 更改为两行，每行对应一个新提交，分别为： ``` pick <commit3> pick <commit4> ``` 其中 `<commit3>` 和 `<commit4>` 分别是你原来要合并的两个提交的ID。 5. **保存并退出编辑器**： 保存并关闭编辑器。Git 会根据你的编辑重新安排提交顺序。 6. **确认和提交**： 按照提示进行下一步操作，可能是`continue`、`skip`等，最后再次提交新创建的两个独立提交。 7. **清除临时合并提交**： 如果不需要保留临时合并提交的记录，可以使用 `git reset HEAD~1` 来回退一步，这样原始的`<commit2>` 就消失了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值