hdfs
a大数据yyds
大数据初学者
展开
-
HDFS文件系统的基础理论,HDFS工作者和管理者的分配,HDFS文件存储容量的理解
1.HDFS的文件系统介绍HDFS是Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统。是 Hadoop 核心组件之一,作为最底层的分布式存储服务而存在。HDFS使用Master和Slave结构对集群进行管理。一般一个 HDFS 集群只有一个Namenode 和一定数目的Datanode 组成。Namenode 是 HDFS 集群主节点...原创 2019-12-13 19:58:12 · 1238 阅读 · 0 评论 -
idea操作MapReduce Java.lang.UnsatisfiedLinKErro:org.apache.hadoop.io.nativeio.NativeIo$Windows.access
1、初次运行WordCount代码出现如下报错解决方法:配置本地hadoop环境变量,重启电脑再运行原创 2019-11-15 20:41:18 · 4340 阅读 · 0 评论 -
HDFS整体总结(面试题)
1怎么理解分布式?分布式是将资源分布存储或者分布计算的统称,分布式是指资源不再单一的再单独的服务器上进行存储或者计算,而是把一个数据拆分成小块进行存储,把多个节点一块进行计算2hadoop 的组成部分HDFS 分布式文件存储系统管理者:NameNode工作者:DataNode辅助者:SecondayNameNodeMapReduce 分布式离线存储框架Yarn Hadoop资源调度...原创 2019-11-15 20:36:15 · 5247 阅读 · 0 评论 -
HDFS的javaAPI操作,HDFS权限问题以及伪造用户,HDFS的小文件合并
javaAPI操作创建maven工程并导入jar包由于cdh版本的所有的软件涉及版权的问题所以并没有将所有的jar包托管到maven仓库当中去而是托管在了CDH自己的服务器上面,所以我们默认去maven的仓库下载不到,需要自己手动的添加repository去CDH仓库进行下载,以下两个地址是官方文档说明,请仔细查阅<repositories> <reposit...原创 2019-11-14 19:50:48 · 4925 阅读 · 0 评论 -
HDFS新增节点与删除节点
准备新节点第一步:复制一台新的虚拟机出来将我们纯净的虚拟机复制一台出来,作为我们新的节点 第二步:修改mac地址以及IP地址修改mac地址命令vim /etc/udev/rules.d/70-persistent-net.rules修改ip地址命令vim /etc/sysconfig/network-scripts/ifcfg-eth0第三步:关闭防火墙,关闭selinux关闭...原创 2019-11-14 10:55:35 · 5451 阅读 · 0 评论 -
Namenode故障恢复
Namenode元数据信息多目录配置为了保证元数据的安全性,我们一般都是先确定好我们的磁盘挂载目录,将元数据的磁盘做RAID1Namenode的本地目录可以配置成多个,且每个目录存放内容相同,增加了可靠性。具体配置如下:文件名:hdfs-site.xmlNamenode故障恢复secondaryNamenode对namenode当中的fsimage和edits进行合并时,每次都会先...原创 2019-11-14 10:39:45 · 5968 阅读 · 0 评论 -
SecondarynameNode如何辅助管理FSImage与Edits文件
SecondarynameNode工作原理由于editlog记录了集群运行期间所有对HDFS的相关操作所以这个文件会很大。集群关闭后再次启动时会将Fsimage,editlog加载到内存中,进行合并,恢复到集群的。由于editlog文件很大所有,集群再次启动时会花费较长时间。为了加快集群的启动时间,所以使用secondarynameNode辅助NameNode合并Fsimage,edi...原创 2019-11-14 10:22:47 · 5865 阅读 · 0 评论 -
HDFS : Fsimage与Edits 详解
Fsimage Edits详解NameNode元数据解析(1)第一次启动namenode格式化后,创建fsimage和edits文件。如果不是第一次启动,直接加载edits和fsimage文件到内存。(2)客户端对元数据进行增删改的请求。(3)namenode记录操作日志,更新滚动日志。(4)namenode在内存中对数据进行增删改查Fsimage保存了最新的元数据检查点,在HDFS...原创 2019-11-13 21:46:20 · 6050 阅读 · 0 评论 -
HDFS的特性,hdfs的安全模式,Hdfs的文件权限验证
HDFS的特性HDFS的优点1、海量数据存储: HDFS可横向扩展,其存储的文件可以支持PB级别或更高级别的数据存储。2、高容错性:数据保存多个副本,副本丢失后自动恢复。可构建在廉价的机器上,实现线性扩展。当集群增加新节点之后,namenode也可以感知,进行负载均衡,将数据分发和备份数据均衡到新的节点上。 3、商用硬件:Hadoop并不需要运行在昂贵且高可靠的硬件上。它是设计运行在商...原创 2019-11-13 21:40:57 · 5539 阅读 · 0 评论 -
HDFS:HDFS读写流程,读取过程,HDFS数据完整性,DataNode功能与目录结构,机架感知
DataNode作用文件的各个 block 的具体存储管理由 datanode 节点承担。每一个 block 都可以在多个datanode 上。Datanode 需要定时向 Namenode 汇报自己持有的 block信息。存储多个副本(副本数量也可以通过参数设置 dfs.replication,默认是 3)。心跳是每3秒一次心跳返回结果带有namenode给该datanode的命令如...原创 2019-11-13 21:37:55 · 6069 阅读 · 0 评论 -
HDFS常用命令实操
(1)-help:输出这个命令参数bin/hdfs dfs -help rm(2)-ls: 显示目录信息hdfs dfs -ls /(3)-mkdir:在hdfs上创建目录hdfs dfs -mkdir -p /aaa/bbb/cc/dd(4)-moveFromLocal从本地剪切粘贴到hdfshdfs dfs -moveFromLocal /home/Hadoop/a.t...原创 2019-11-13 10:11:34 · 5500 阅读 · 0 评论 -
HDFS文件系统的基础理论,HDFS工作者和管理者的分配,HDFS文件存储容量的理解
1.HDFS的文件系统介绍HDFS是Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统。是 Hadoop 核心组件之一,作为最底层的分布式存储服务而存在HDFS使用Master和Slave结构对集群进行管理。一般一个 HDFS 集群只有一个Namenode 和一定数目的Datanode 组成。Namenode 是 HDFS 集群主节点,...原创 2019-11-12 20:36:01 · 6706 阅读 · 0 评论