![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
文章平均质量分 78
LiterMa
这个作者很懒,什么都没留下…
展开
-
hdfs高可用和联邦机制
HDFS高可用机制HAhadoop中NameNode非常重要,影响整个集群在实际应用中,一般有两个NameNode,一个处于Active状态(负责所有客户端的操作),一个Standby状态(等待Active挂掉,实现快速故障切换(如果需要))他们的元数据肯定要同步一致,Zookeeper实现其中的组件:ZKFailoverController:基于Zookeeper的故障转移控制器,负责NameNode的主备切换通过监听NameNode健康状态,当Active出现异常.原创 2021-01-11 13:31:47 · 181 阅读 · 0 评论 -
hdfs的API操作
目录hdfsAPI操作环境配置api操作获取FileSystemapi操作,功能型api上传和下载api访问权限控制api小文件合并hdfsAPI操作环境配置一、准备工作1、配置Windows的hadoop运行环境,否则运行代码会出现缺少winutils.exe、hadoop.dll这两个文件可以在github上找貌似hadoop2.10.1不用配置环境也可以使用api第一步:将这两个文件放到一个全英文没空格的文件夹下例如:D:\English_p..原创 2021-01-11 13:28:20 · 353 阅读 · 0 评论 -
HDFS基准测试、写入过程、读取过程、元数据管理
基准测试生产环境搭建后,第一件事就是压力测试,测试集群的读取和写入速度,测试我们的网络带宽是否足够等一些基准测试一、测试写入数据向HDFS文件系统写入数据,10个文件每个文件10mb,文件放到/benchmarks/TestDFSIO中hadoop jar(表示执行一个后面是jar包目录) /export/servers/hadoop-2.10.1/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.10.1.ja...原创 2021-01-11 13:22:17 · 447 阅读 · 1 评论 -
HDFS概述和使用
目录hdfs概述NameNode与DataNode的作用hdfs的副本机制与机架感知hdfs的命令行使用hdfs的高级使用命令hdfs概述分布式文件系统跨机存储,统一管理(提供统一的访问接口)像普通文件系统一样使用分布式文件系统应用场景1、存储非常大的文件,几百m、g、TB,需要高吞吐量,对延时没有要求2、流式数据访问:一次写入多次读取,数据集经常从数据源生成或拷贝一次,然后在其上做很多分析工作3、每台主机不必太贵,节约成本4、容错率高..原创 2021-01-11 13:19:41 · 152 阅读 · 0 评论