HDFS
钻石大门
程序员
展开
-
HDFS小文件危害以及解决方案
小文件危害先说对小文件的定义,一般来说小于等于30M的文件,都叫小文件。在HDFS中,通常NN维护一个文件的名称,目录结构等大约是250字节。现实中,HDFS的小文件如果不做任何操作增长会很快,现在假设NN节点的内存为4G,差不多42亿字节,现在在HDFS上有一亿个小文件,那么需要250乘一亿大约是250亿字节,这样会将NN撑爆。小文件到达一定数目,就会将NN节点撑爆。就算NN能够存储,对于hi...原创 2019-07-18 00:53:46 · 612 阅读 · 0 评论 -
盘点MapReudce在Windows上运行的坑
https://liverrrr.fun/archives/mapreduce_windows?tdsourcetag=s_pcqq_aiomsg原创 2019-09-01 00:41:20 · 147 阅读 · 0 评论 -
HDFS客户端的权限错误:Permission denied
搭建了一个Hadoop的环境,Hadoop集群环境部署在几个Linux服务器上,现在想使用windows上的Java客户端来操作集群中的HDFS文件,但是在客户端运行时出现了如下的认证错误,被折磨了几天,问题终得以解决。以此文记录问题的解决过程。解决办法最终,总结下来解决办法大概有三种:1、在系统的环境变量或java JVM变量里面添加HADOOP_USER_NAME,这个值具体等于多少看自...原创 2019-08-27 09:45:28 · 1039 阅读 · 0 评论 -
HDFS和YARN HA部署
一、版本组件名版本备注及下载地址Centos7.2 64bitlsb_release -a查看操作系统版本 file /bin/ls查看操作系统位数JREjava version 1.8.45jdk-8u45-linux-x64.gzHadoophadoop-2.6.0-cdh5.15.1hadoop-2.6.0-cdh5.15.1.tar.gz...原创 2019-08-23 01:49:25 · 540 阅读 · 0 评论 -
Hadoop之常见压缩格式以及性能对比
https://blog.csdn.net/liweihope/article/details/89672763原创 2019-08-25 17:12:02 · 571 阅读 · 0 评论 -
HDFS脚本检测failover时,发送邮件预警
https://blog.csdn.net/qq_40337206/article/details/100051934https://blog.csdn.net/weixin_43975538/article/details/100051828原创 2019-08-25 17:02:11 · 107 阅读 · 0 评论 -
梳理ssh zk集群无法启动的原因
https://blog.csdn.net/weixin_44131414/article/details/100042456原创 2019-08-25 16:57:32 · 1203 阅读 · 0 评论 -
断电导致HDFS 块损坏
1.现象:断电 导致HDFS服务不正常或者显示块损坏2.检查HDFS系统文件健康hdfs fsck /3.检查hdfs fsck -list-corruptfileblocksConnecting to namenode via http://hadoop36:50070/fsck?ugi=hdfs&listcorruptfileblocks=1&path=%2FThe...原创 2019-08-24 17:11:04 · 399 阅读 · 0 评论 -
HDFS HA
1.hdfs ha架构图梳理HA使用active NN, standby NN两个节点解决单点问题。两个NN节点通过JN集群,共享状态,通过ZKFC选举active,监控状态,自动备援。DN会同时向两个NN节点发送心跳。HDFS 集群介绍hdfs采用master-slave架构。集群中主要由NameNode、DataNode、Secondary NameNode、fsimage、edi...原创 2019-08-20 00:30:43 · 191 阅读 · 0 评论 -
HDFS详解二之HDFS读写流程
1.HDFS写流程写的过程对于我们操作者而言,是无感知的。流程图如下:1.1 用HDFS client执行命令的时候,比如hdfs dfs,java代码,scala代码等,实际上它调用的是分布式文件系统(DistributedFileSystem)(它是一个api,是一个对象)。1.2 Client调用FileSystem.create(filePath)方法,与NN进行【rpc】通信...原创 2019-07-13 11:34:07 · 243 阅读 · 0 评论 -
生产HDFS Block损坏恢复最佳实践
1.文件ruozedata.md上传:[hadoop@10-9-15-140 hadoop-2.6.0-cdh5.7.0]$ hdfs dfs -mkdir /blockrecover19/07/08 00:14:11 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... u...原创 2019-07-09 09:21:06 · 634 阅读 · 0 评论 -
HDFS详解二(架构设计、副本放置策略)
1.HDFS架构设计架构图:进程有三个:namenode nn 名称节点secondary namenode snn 第二名称节点datanode dn 数据节点1.1 HDFS 架构是主从架构1.2 Rack : 机架 一个机架可以放多个主机,正常可以放10个,有些GPU主机放 5个主 机,GPU主机特别耗电。比如上图中机架1号Rack1放3个主机...原创 2019-07-07 16:48:04 · 320 阅读 · 0 评论 -
HDFS详解一(block块剖析和副本数)
1.块block块的大小128M块的副本数3<property> <name>dfs.blocksize</name> <value>134217728</value></property><property> <name>dfs.replica...原创 2019-07-07 14:21:18 · 1651 阅读 · 0 评论 -
Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException
Exception in thread “main” org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://ruozeclusterg7/ruozedata/wc/input问题:hadoop fs -mkdir -p /ruozedata/wc/input...原创 2019-09-01 14:05:33 · 3879 阅读 · 0 评论