大数据
文章平均质量分 63
bigdatahyy
这个作者很懒,什么都没留下…
展开
-
Hbase读写流程:整体读取流程
Hbase读写流程:整体读取流程目标掌握Hbase数据读取整体流程分析#根据rowkey来判断读取哪个regionget ns:tbname , rowkey#读取所有Regionscan ns:tbnamestep1:获取元数据step2:找到对应的Regionstep3:读取数据实现step1:获取元数据客户端请求Zookeeper,获取meta表所在的regionserver的地址读取meta表的数据注意:客户端会缓存meta表的数据,只有第一原创 2021-03-25 16:08:48 · 119 阅读 · 0 评论 -
Hbase写入数据的流程
Hbase写入数据的流程知识点04:Hbase读写流程:meta表目标掌握Hbase写入数据的整体流程分析目标掌握Hbase数据写入的流程当执行一条Put操作,数据是如何写入Hbase的?put 表名 rowkey 列族:列 值分析step1:根据表名获取这张表对应的所有Region的信息step2:根据Rowkey判断具体写入哪个Regionstep3:将put操作提交给这个Region所在的RegionServerstep4原创 2021-03-25 16:06:41 · 466 阅读 · 0 评论 -
二级索引--(Hbase)
二级索引为什么要构建二级索引为什么二级索引能提高查询性能?Phoenix为什么可以实现二级索引?什么是全局索引?什么是覆盖索引?什么是本地索引?为什么要构建二级索引Hbase使用Rowkey作为唯一索引,只有使用Rowkey前缀进行查询,才是索引查询导致大部分的查询都是不走索引,性能比较差为什么二级索引能提高查询性能?使用走两次索引代替全表扫描先走索引查询索引表,获取原表的rowkey再根据原表的rowkey查询原表的数据Phoenix为什么可以实现二级索引?Phoenix底层封装原创 2021-03-25 15:22:57 · 170 阅读 · 0 评论 -
Zookeeper集群搭建-------------------(管理员)
Zookeeper集群搭建安装前需要安装好jdk(安装步骤)三个检查下载zookeeper安装包、解压修改环境变量(注意:其他节点的zookeeper都需要修改)修改Zookeeper配置文件分发安装包到其他机器修改其他机器的配置文件启动(每台机器)关闭查看集群状态安装前需要安装好jdk(安装步骤)到这就配置好了其他节点记得也要安装scp -r /export 其他节点主机名://etc/profile.d/java.sh 也要复制过去scp /etc/profile.d/java.sh原创 2020-10-19 21:21:01 · 124 阅读 · 1 评论 -
hdfs的特殊使用命令
目标:掌握HDFS对目录如何进行限制。HDFS文件限额配置hdfs文件的限额配置允许我们以文件大小或者文件个数来限制某个目录下上传的文件数量或者文件内容总量,以便达到我们类似百度网盘网盘等限制每个用户允许上传的最大的文件的量数量限额hdfs dfs -mkdir -p /user/root/lisi #创建hdfs文件夹hdfs dfsadmin -setQuota 2 lisi # 给该文件夹下面设置最多上传两个文件,上传文件,发现只能上传一个文件hdfs dfsadmin原创 2020-10-12 20:59:52 · 92 阅读 · 1 评论 -
HDFS特性与缺点的概述
HDFS特性目标:掌握HDFS具备的特性1、海量数据存储: HDFS可横向扩展,其存储的文件可以支持PB级别或更高级别的数据存储。2、高容错性:数据保存多个副本,副本丢失后自动恢复。可构建在廉价的机器上,实现线性扩展。当集群增加新节点之后,namenode也可以感知,进行负载均衡,将数据分发和备份数据均衡到新的节点上。 3、商用硬件:Hadoop并不需要运行在昂贵且高可靠的硬件上。它是设计运行在商用硬件(廉价商业硬件)的集群上的。4、大文件存储:HDFS采用数据块的方式存储数据,将数据物理切分原创 2020-10-12 20:54:27 · 146 阅读 · 1 评论 -
HDFS的shell常规命令操作
目标:掌握HDFS操作数据的命令1)基本语法bin/hdfs dfs 具体命令2)参数大全[root@node01 Hadoop-2.6.0-cdh5.14.0]# bin/hdfs dfsUsage: Hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum &原创 2020-10-12 20:50:44 · 136 阅读 · 0 评论 -
Hadoop----hdfs数据校验
1、数据第一次写入成功后,会进行数据校验,获得校验和。2、数据读取前,对数据进行校验,获得校验和,计算得到的校验和与第一次上传后的校验和进行对比。3、两个校验和相同表示数据相同,可以提读取数据4、两个校验和不相同表示数据不相同,节点去其他节点读取数据节点周期进行校验和计算,防止数据丢失。...原创 2020-10-12 20:46:34 · 388 阅读 · 0 评论 -
Hadoop----HDFS读取数据的流程
1、客户端通过调用FileSystem对象的open()来读取希望打开的文件。2、 Client向NameNode发起RPC请求,来确定请求文件block所在的位置;3、 NameNode会视情况返回文件的部分或者全部block列表,对于每个block,NameNode 都会返回含有该 block 副本的 DataNode 地址; 这些返回的 DN 地址,会按照集群拓扑结构得出 DataNode 与客户端的距离,然后进行排序,排序两个规则:网络拓扑结构中距离 Client 近的排靠前;心跳机制中超时.原创 2020-10-12 20:45:27 · 158 阅读 · 0 评论 -
Hadoop----HDFS写入数据的流程
1、 client发起文件上传请求,通过RPC与NameNode建立通讯,NameNode检查目标文件是否已存在,父目录是否存在,返回是否可以上传;2、 client请求第一个block该传输到哪些DataNode服务器上;3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配,返回可用的DataNode的地址如:A,B,C;4、 client请求3台DataNode中的一台A上传数据(本质上是一个RPC调用,建立pipeline),A收到请求会继续调用B,然后B调用C,将整个.原创 2020-10-12 20:43:55 · 104 阅读 · 0 评论 -
vmware安装虚拟机 (简单易学)
虚拟机安装这里先下一步才会出现这个谈话框原创 2020-10-08 20:17:19 · 163 阅读 · 0 评论 -
liunx----shell编程
Shell 编程简介shell 解释器2.2快速入门2 执行shell脚本shell变量1 简介使用变量删除变量只读变量字符串获取字符串长度提取子字符串查找子字符串传递参数Shell算术运算符例子流程控制关系运算符for 循环1 格式.2 随堂练习while 语句无限循环case(switch)跳出循环1 **break**命令2 continue函数使用1 函数的快速入门2 传递参数给函数数组1 定义数组2 实例3 读取数组4 实例5 获取数组中的所有元素5 获取数组的长度遍历数组方式一方式二加载其它文原创 2020-10-12 20:26:37 · 74 阅读 · 0 评论 -
hadoop hdfs (通俗易懂)
快速掌握hadoop和集群安装1、传统数据与大数据的对比2、大数据服务器安装规范3、传统数据与大数据处理方式对比4、大数据5、Hadoop内部组成6、HDFS全称7、HDFS组成部分8、HDFS存储数据的方式9、数据副本存放机制10、什么是名字空间11、NameNode的作用12、DataNode的作用13、HDFS写入数据的流程14、HDFS读取数据的流程15、数据校验16、DataNode节点丢失周期1、传统数据与大数据的对比2、大数据服务器安装规范系统硬盘 两块硬盘做一个RAID1 引原创 2020-10-09 15:38:32 · 509 阅读 · 0 评论