HDFS
dingweijson
这个作者很懒,什么都没留下…
展开
-
JAVA上传文件到HDFS
package com.hqgf.testhdfs;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop....原创 2018-01-08 16:37:26 · 1228 阅读 · 0 评论 -
HDFS写入与读取流程
HDFS写入数据流程解析那么问题来了,如果他们之间的一个datanode突然坏掉了怎么办。1、如果传输过程中,有某个datanode出现了故障,那么当前的pipeline会被关闭,出现故障的datanode会从当前的pipeline中移除,剩余的block会继续剩下的datanode中继续以pipeline的形式传输,同时Namenode会分配一个新的datanode,保持rep...原创 2018-05-24 10:33:57 · 565 阅读 · 0 评论 -
HDFS高可用架构
在Hadoop1.x版本的时候,Namenode存在着单点失效的问题。如果namenode失效了,那么所有的基于HDFS的客户端——包括MapReduce作业均无法读,写或列文件,因为namenode是唯一存储元数据与文件到数据块映射的地方。而从一个失效的namenode中恢复的步骤繁多,系统恢复时间太长,也会影响到日常的维护。Hadoop的2.x版本在HDFS中增加了对高可用性的支持来解决...原创 2018-05-25 10:43:33 · 224 阅读 · 0 评论 -
java 访问 kerberos hdfs
先从服务上下载krb5.conf和keytab文件到本地目录中package java调用kerberostohdfs;import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hado...原创 2018-05-30 14:44:04 · 570 阅读 · 0 评论 -
解决webhdfs 访问认证问题
添加kerberos开启认证后在浏览中访问webhdfs 要求输入用户名密码或认证失败如下图: 1.在服务器端初始化keytabkinit -k -t /etc/security/keytabs/spnego.service.keytab HTTP/master@HQGF.COM 2.使用火狐浏览器输入about:config打开 找到network.negoti...原创 2018-05-31 14:56:48 · 5102 阅读 · 2 评论 -
查看HADOOP中一个文件有多少块组成及所在机器ip
看文件信息hadoop fsck /user/filename更详细的hadoop fsck /user/filename -files -blocks -locations -racks -files 文件分块信息,-blocks 在带-files参数后才显示block信息-locations 在带-blocks参数后才显示block块所在datanode的具体IP位置,-rack...原创 2018-06-01 11:19:02 · 617 阅读 · 0 评论