HDFS
HDFS
睡覺了
我现在能做的,便是以一段拙劣的文字来祭奠我那段流逝的岁月
展开
-
Review HDFS 文件系统的容量
HDFS 文件系统的容量 理解: 将多个节点的容量汇总到一起拼接成一个大的文件系统,在一个节点上传数据,在其他的节点上都能够访问使用。图解 :...原创 2020-04-12 11:14:03 · 9436 阅读 · 0 评论 -
Review HDFS数据完整性
HDFS数据完整性数据在写入之后进行校验和的计算,DataNode周期性进行校验和计算,将计算结果与第一次的结果进行对比。若相同表示无数据丢失,若不相同表示数据有丢失,丢失进行数据恢复。数据读取之前对数据进行校验,与第一次的结果进行对比。若相同表示数据没有丢失,可以读取。若不相同表示数据有所丢失。到其他副本读取。...原创 2020-04-12 11:13:41 · 7999 阅读 · 1 评论 -
HDFS Or yarn
http://192.168.100.201:50070/http://192.168.100.201:8088/cluster原创 2020-04-03 09:42:42 · 8436 阅读 · 0 评论 -
Hadoop 程序运行两大模型
案例 : world countIDEA pom文件 :指定本次MapReduce程序中 数据输入的路径(hdfs文件系统中的路径) 和 数据最终输出 存放在什么位置(hdfs文件系统中的路径)1.创建数据输入的路径(hdfs文件系统中的路径):hadoop fs -mkdir -p /Hado...原创 2019-12-12 09:24:05 · 6766 阅读 · 0 评论 -
HDFS Period 一
HDFS 详解:HDFS 基本介绍①HDFS 是 Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统。是 Hadoop 核心组件之一,作为最底层的分布式存储服务而存在。②分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景,它们为存储和处理超大规模数据...原创 2019-11-01 18:15:08 · 6427 阅读 · 0 评论 -
HDFS 集群新增节点
服役新数据节点随着业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。准备新节点第一步:复制一台新的虚拟机出来,作为新的节点第二步: 修改mac地址以及IP地址修改mac地址命令:vim /etc/udev/rules.d/70-persistent-net.rules修改ip地址命令 ...原创 2019-11-07 20:21:33 · 7212 阅读 · 0 评论 -
HDFS 之 javaApi 的基本操作
package demo;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org...原创 2019-11-25 17:32:45 · 6533 阅读 · 0 评论 -
HDFS 运行 jar 报错
把 / 去掉原创 2019-11-26 21:25:49 · 6256 阅读 · 0 评论