HDFS
文章平均质量分 91
HDFS
大数据老哥
这个作者很懒,什么都没留下…
展开
-
三大组件HDFS、MapReduce、Yarn框架结构的深入解析式地详细学习【建议收藏!】
我们知道目前Hadoop主要包括有三大组件,分别是:分布存储框架(HDFS)、分布式计算框架(MapReduce)、以及负责计算资源调度管理的平台(Yarn),那么今天我们就来解析式的深入学习了解这三大组件。*转载 2021-09-09 15:50:21 · 2469 阅读 · 0 评论 -
企业是如何解决HDFS单点问题的?
前言 在早期Hadoop刚出来的时候是没有解决HDFS单点问题的,这就意味着当NameNode的服务器宕机了就会导致整个集群瘫痪,这是非常危险的于是在Hadoop不断的更新下提出了Hadoop HA来解决NameNode单点问题,接下来我们就来聊一聊。解决HDFS单点问题解决方案 解决HDFS点单问题其实可原创 2021-01-30 18:12:42 · 1711 阅读 · 0 评论 -
HDFS是如何设计架构的?
前言 Hadoop到目前为止发展已经有10余年,版本经过无数次的更新迭代,目前业内大家把Hadoop大的版本分为Hadoop1.0、Hadoop2.0、Hadoop3.0 三个版本。一、Hadoop1.0 简介 Hadoop1.0版本刚出来的时候是为了解决两个间题:一是海量数据如何存储的问题,一个是海量数据如何原创 2021-01-27 23:02:27 · 1391 阅读 · 0 评论 -
HDFS新增结点
1.复制出一台新的虚拟机 2.修改ip和mac地址vim /etc/udev/rules.d/70-persistent-net.rulesvim /etc/sysconfig/network-scripts/ifcfg-eth0 3. 关闭防火墙 selinux关闭防火墙service iptables stop关闭selinuxvim /etc/se...原创 2019-11-06 19:11:10 · 14272 阅读 · 0 评论 -
HDFS API 使用②
由于为了减少代码的重复性所以我选择写2篇的第一篇是环境搭建 链接为:https://blog.csdn.net/qq_43791724/article/details/102895900初始化 public static String url="hdfs://hadoop01:8020"; FileSystem fileSystem =null; Configu...原创 2019-11-04 15:18:35 · 13088 阅读 · 0 评论 -
HDFS API 使用①
使用开发软件 创建一个maven项目 导入响应的jar包 <properties> <hadoop.version>2.6.0-cdh5.15.1</hadoop.version> </properties> <repositories> <reposito...原创 2019-11-04 14:50:17 · 13594 阅读 · 1 评论