hadoop
bigdatahyy
这个作者很懒,什么都没留下…
展开
-
hdfs的特殊使用命令
目标:掌握HDFS对目录如何进行限制。HDFS文件限额配置hdfs文件的限额配置允许我们以文件大小或者文件个数来限制某个目录下上传的文件数量或者文件内容总量,以便达到我们类似百度网盘网盘等限制每个用户允许上传的最大的文件的量数量限额hdfs dfs -mkdir -p /user/root/lisi #创建hdfs文件夹hdfs dfsadmin -setQuota 2 lisi # 给该文件夹下面设置最多上传两个文件,上传文件,发现只能上传一个文件hdfs dfsadmin原创 2020-10-12 20:59:52 · 92 阅读 · 1 评论 -
HDFS特性与缺点的概述
HDFS特性目标:掌握HDFS具备的特性1、海量数据存储: HDFS可横向扩展,其存储的文件可以支持PB级别或更高级别的数据存储。2、高容错性:数据保存多个副本,副本丢失后自动恢复。可构建在廉价的机器上,实现线性扩展。当集群增加新节点之后,namenode也可以感知,进行负载均衡,将数据分发和备份数据均衡到新的节点上。 3、商用硬件:Hadoop并不需要运行在昂贵且高可靠的硬件上。它是设计运行在商用硬件(廉价商业硬件)的集群上的。4、大文件存储:HDFS采用数据块的方式存储数据,将数据物理切分原创 2020-10-12 20:54:27 · 146 阅读 · 1 评论 -
HDFS的shell常规命令操作
目标:掌握HDFS操作数据的命令1)基本语法bin/hdfs dfs 具体命令2)参数大全[root@node01 Hadoop-2.6.0-cdh5.14.0]# bin/hdfs dfsUsage: Hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum &原创 2020-10-12 20:50:44 · 136 阅读 · 0 评论 -
Hadoop----hdfs数据校验
1、数据第一次写入成功后,会进行数据校验,获得校验和。2、数据读取前,对数据进行校验,获得校验和,计算得到的校验和与第一次上传后的校验和进行对比。3、两个校验和相同表示数据相同,可以提读取数据4、两个校验和不相同表示数据不相同,节点去其他节点读取数据节点周期进行校验和计算,防止数据丢失。...原创 2020-10-12 20:46:34 · 390 阅读 · 0 评论 -
Hadoop----HDFS写入数据的流程
1、 client发起文件上传请求,通过RPC与NameNode建立通讯,NameNode检查目标文件是否已存在,父目录是否存在,返回是否可以上传;2、 client请求第一个block该传输到哪些DataNode服务器上;3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配,返回可用的DataNode的地址如:A,B,C;4、 client请求3台DataNode中的一台A上传数据(本质上是一个RPC调用,建立pipeline),A收到请求会继续调用B,然后B调用C,将整个.原创 2020-10-12 20:43:55 · 104 阅读 · 0 评论 -
hadoop hdfs (通俗易懂)
快速掌握hadoop和集群安装1、传统数据与大数据的对比2、大数据服务器安装规范3、传统数据与大数据处理方式对比4、大数据5、Hadoop内部组成6、HDFS全称7、HDFS组成部分8、HDFS存储数据的方式9、数据副本存放机制10、什么是名字空间11、NameNode的作用12、DataNode的作用13、HDFS写入数据的流程14、HDFS读取数据的流程15、数据校验16、DataNode节点丢失周期1、传统数据与大数据的对比2、大数据服务器安装规范系统硬盘 两块硬盘做一个RAID1 引原创 2020-10-09 15:38:32 · 509 阅读 · 0 评论 -
大数据介绍和集群安装--hadoop
大数据介绍及集群安装第一部分 《大数据概述》第二部分《Hadoop详解》第三部分《Hadoop集群搭建》1、大数据概述2、什么是大数据?(Big Data)3、传统数据与大数据的对比4、大数据的特点5、大数据生态系统6、大数据技术为什么快?7、Hadoop详解8、Hadoop三大公司发型版本介绍9、Hadoop的架构模型(1.x,2.x的各种架构模型介绍)10、CDH版本Hadoop重新编译11、CDH 分布式环境搭建第八步:浏览器查看启动页面第一部分 《大数据概述》传统数据如何处理?什么是大数据原创 2020-10-07 21:19:12 · 2188 阅读 · 6 评论