大数据
啊是可莉
沉浸在代码中,徜徉在音乐里
展开
-
Hbase读写流程:整体读取流程
Hbase读写流程:整体读取流程 根据rowkey来判断读取哪个region get ns:tbname , rowkey 读取所有Region scan ns:tbname step1:获取元数据 step2:找到对应的Region step3:读取数据 step1:获取元数据 客户端请求Zookeeper,获取meta表所在的regionserver的地址 读取meta表的数据 注意:客户端会缓存meta表的数据,只有第一次会连接ZK,读取meta表的数据,缓存会定期失效,要重新缓存 避免每次原创 2021-03-25 16:57:09 · 77 阅读 · 0 评论 -
Hbase读写流程:整体写入流程
Hbase读写流程:整体写入流程 分析: put ns:tbname,rowkey,cf:col,value step1:获取元数据 表的元数据:hbase:meta表中 问题:如果要往一张表写入数据,必须先读meta表,如何知道meta的地址? 解决:请求zk,meta表的地址存储在zk中 step2:找到对应的Region step3:写入数据 step1:获取元数据 客户端请求Zookeeper,获取meta表所在的regionserver的地址 读取meta表的数原创 2021-03-25 16:03:34 · 134 阅读 · 0 评论 -
Hbase:meta表
meta表 Hbase自带的两张系统表 hbase:namespace:存储了Hbase中所有namespace的信息 hbase:meta:存储了表的元数据 hbase:meta表结构 Rowkey: 每张表每个Region的名称 itcast:t4,eeeeeeee,1616123941870.ba3bf6d78ce9432ea4cd42a3829142b2.原创 2021-03-25 15:55:51 · 589 阅读 · 0 评论 -
Hbase写入流程
Hbase写入流程 put 表名 rowkey 列族:列 值 表名:根据表名获取这张表对应的所有Region的信息,决定了这条数据要写入哪些region中 rowkey:根据Rowkey判断具体写入哪个Region,决定了这条数据具体写入哪个Region中 将put操作提交给这个Region所在的RegionServer 列:RegionServer将数据写入Region,根据列族判断写入哪个Store,决定了写入这个region哪个Store中 值:将数据写入MemStore中原创 2021-03-25 15:43:54 · 72 阅读 · 0 评论 -
Azkaban安装部署 (2. two-server模式部署)
Azkaban安转部署 two-server模式部署 节点规划: Host:Node01 角色:Mysql Host:Node01 角色: web‐server和exec‐server不同进程 解压文件 首先我们先进入到/export/servers目录下 然后创建azkaban-two-server目录 mkdir -p /export/servers/azkaban-two-server 解压azkaban-web-server-2.5.0.tar.gz、azkaban-execut原创 2020-12-06 18:36:04 · 394 阅读 · 0 评论 -
Azkaban的安装部署(1.solo-server模式部署)
Azkaban的安装部署 1.solo-server模式部署 节点规划:Node01 角色:WebServer和Executor Server同一个进程 解压配置:(一般情况下压缩包上传在export/soft下)将压缩包解压在servers的目录下并且进行修改名称(下面是两条命令,注意:解压后的名字一定要改成azkaban-solo-server 因为我们这里用的是第一种solo-server部署) tar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz -原创 2020-12-06 17:46:30 · 433 阅读 · 0 评论 -
Azkaban的认识
Azkaban 1.介绍: Azkaban使用job配置文件建立任务之间的依赖关系,并且还拥有方便使用的web页面和跟踪你的工作流 1.1特点: 1.功能清晰,简单易用的web UI 页面; 2.提供job配置文件快速建立任务和任务之间的依赖关系; 3.提供模块化和可插拔的插件机制,原生支持command、Java、Hive、Pig、Hadoop;\ 4.基于Java开发,代码结构清晰,易于二次开发; 2.原理结构 mysql服务器:存储元数据,项目名称,项目描述,项目权限,任务状态。SAL规则等; Az原创 2020-12-06 16:46:34 · 60 阅读 · 0 评论 -
linux基本命令及详解
Linux常用命令的基本使用 01.ls 查看当前目录下的内容 02.pwd 查看当前所在文件夹 03.cd 切换文件夹 04.touch 如果文件不存在,新建文件 05.mkdir 创建目录 06.rm 删除指定的文件名 07.clear 清空屏幕 1.创建文件夹的命令 格式: mkdir 目录名 mkdir -p 目录名1/目录名2/目录名3(嵌套) ***注意: 新建目录的名称 不能与当原创 2020-10-12 18:29:19 · 118 阅读 · 1 评论