HDFS
隔壁敲代码的王先生
不积跬步无以至千里,不积小流无以成江海。
展开
-
HDFS块损坏问题。
因为断电,导致hdfs块损坏,ClouderManager 提示块损坏问题。1:寻找损坏的块的路径hdfs fsck / | egrep -v '^\.+$' | grep -v eplica2:寻找每个损坏块的相信信息。会列出每个块的副本的节点信息 /path/to/corrupt/file 为损坏块的路径 hdfs fsck /path/to/corrupt/file -locations -blocks -files3:找到每个损坏块副本分散节点,依次去排查相关问题。4:.原创 2020-07-21 15:13:43 · 838 阅读 · 0 评论 -
Hadoop-HDFS
HDFS介绍: HDFS源于Google三篇论文(GFS,Mapreduce,BigTable)中的GFS理论启发而诞生的基于海量数据分布式存储的一种文件系统,HDFS也是Hadoop生态圈最重要的组件之一,他解决了传统数据库对非结构化数据的存储问题,和海量数据存储的问题,一次写入多次读取,是目前大数据存储地位最高的分布式存储文件系统。HDFS的组件: Client端:客户...原创 2018-04-10 14:14:17 · 327 阅读 · 0 评论 -
HDFS-NFS
本文主要是自己在调研hdfs-nfs过程中的学习记录NFS原理NFS原理应用介绍:https://www.cnblogs.com/me80/p/7464125.htmlHDFS的NFS原生的HDFS是采用服务器本地磁盘实现,在数据读取上具有很好的本地化优势,但是本地实现方式存在容量使用率低,影响计算等,目前典型的HDFS实现方式主要包括:1:专业存储方式,2:HDFS连接器...原创 2018-11-08 20:15:27 · 1761 阅读 · 0 评论