大数据
文章平均质量分 78
Hadoop、Flink等大数据学习
杨某人信了你的邪
这个作者很懒,什么都没留下…
展开
-
HDFS之SecondaryNameNode
1、回顾HDFS架构体系之前有简单提及过,HDFS的架构中,除了NameNode和DataNode外,还有个SecondaryNameNode也扮演着重要的角色。再来简单回顾下HDFS的架构体系(1)Client文件切分,文件上传 HDFS 的时候,Client 将文件切分成 一个一个的Block,然后进行存储与 NameNode 交互,获取文件的位置信息与 DataNode 交互,读取或者写入数据Client 提供一些命令来管理 HDFS,比如启动或者关闭HDFSClient 可以通过一些原创 2022-05-19 23:34:36 · 626 阅读 · 0 评论 -
HDFS 的Shell命令
hadoop fs 等同于 hdfs dfs1、列出所有受支持的命令hadoop fs[root@hadoop-node1 hadoop-3.3.2]# hadoop fsUsage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum [-v] &l.原创 2022-05-08 17:05:21 · 554 阅读 · 0 评论 -
HDFS概述
HDFS(Hadoop Distributed File System),Hadoop分布式文件系统。适用于一次写入,多次读取的场景。1、优缺点(1)优点高容错性:通过增加副本的形式来提高容错性。在一个节点上,副本最多只有一个,某节点挂了之后,若可用节点依旧大于等于副本数量,则会自动增加一个副本到其他节点。适合处理大数据数据规模:能够处理数据规模达到GB、TB、甚至PB级别的数据;文件规模:能够处理百万规模以上的文件数量,数量相当之大。(2)缺点不适合低延时数据访问,比如毫秒级的原创 2022-05-08 16:25:38 · 891 阅读 · 0 评论 -
快速搭建一个hadoop集群
快速搭建一个hadoop集群一、准备虚拟机二、配置ssh免密登录三、编写文件同步脚本四、安装jdk和hadoop五、hadoop集群配置六、启动集群快速搭建一个hadoop集群本文不讲原理,只记录一下快速搭建hadoop集群的过程。参考:https://www.bilibili.com/video/BV1Qp4y1n7EN系统:CentOS7.7hadoop版本:3.3.2jdk版本:1.8.0_321一、准备虚拟机1、安装三台虚拟机,安装过程可参考 超详细的CentOS7.4下载与图文安原创 2022-05-08 14:01:36 · 1003 阅读 · 0 评论