![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
木_头人
这个作者很懒,什么都没留下…
展开
-
hdfs伪分布式部署
1.下载hadoop1.1:可以去CDH网站下载包http://archive.cloudera.com/cdh5/1.2:下载软件包之后,从本地电脑rz到linux2.设置java环境变量[root@hadoop001 ~]# mkdir /usr/java/[root@hadoop001 ~]# cd /usr/java/上传或者下载jdk文件,解压jdk压缩包的时候要注意所...原创 2019-07-04 16:57:42 · 131 阅读 · 0 评论 -
断电导致HDFS服务不正常或者显示块损坏
1.现象:断电 导致HDFS服务不正常或者显示块损坏2.检查HDFS系统文件健康hdfs fsck /3.检查hdfs fsck -list-corruptfileblocks显示损坏的文件对应的块Connecting to namenode via http://hadoop36:50070/fsck?ugi=hdfs&listcorruptfileblocks=1&...原创 2019-08-20 16:13:02 · 496 阅读 · 0 评论 -
hdfs常见命令
haadmin介绍hdfs haadmin命令可以查看、修改集群某一台服务器的状态[hadoop@hadoop001 ~]$ hdfs haadminUsage: DFSHAAdmin [-ns <nameserviceId>] [-transitionToActive <serviceId> [--forceactive]] [-transition...原创 2019-08-20 15:55:23 · 188 阅读 · 0 评论 -
HDFS命令操作
1.hadoop命令常用命令:[hadoop@hadoop001 ~]$ hadoopUsage: hadoop [--config confdir] COMMAND where COMMAND is one of: fs run a generic filesystem user client version ...原创 2019-07-09 17:53:40 · 256 阅读 · 0 评论 -
HDFS的读写流程
1.HDFS读流程1.1 Client通过FileSystem.open(filePath)方法,与NN节点进行【rpc】协议通信,校验是否有权限是否存在,假如都ok,返回该文件的部分或全部的block的列表(包含各个block块的分布在DN地址的列表),也就是返回【FSDataInputStream】对象;1.2 Clinet调用FSDataInputStream.read方法。a.与第一...原创 2019-07-09 17:05:46 · 183 阅读 · 0 评论 -
生产HDFS Block损坏恢复
一.文件ruozedata.md上传:-bash-4.2$ hdfs dfs -mkdir /blockrecover-bash-4.2$ echo "www.ruozedata.com" > ruozedata.md-bash-4.2$ hdfs dfs -put ruozedata.md /blockrecover-bash-4.2$ hdfs dfs -ls /blockr...原创 2019-07-08 11:46:10 · 143 阅读 · 0 评论 -
HDFS架构跟各个节点介绍
1.HDFS架构Hadoop分布式文件系统(HDFS)是一个分布式文件系统,设计用于在商品硬件上运行。它与现有的分布式文件系统有许多相似之处。但是,与其他分布式文件系统的区别是显著的。HDFS具有高度的容错性,设计用于部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问,适用于具有大数据集的应用程序。HDFS放宽了一些POSIX要求,以实现对文件系统数据的流式访问。HDFS最初是作为Ap...原创 2019-07-08 11:08:38 · 3510 阅读 · 0 评论 -
hdfs块大小,小文件,副本数
1.块大小hdfs默认的块大小为128M,可以在官网查看参数dfs.blocksize。假如一个文件的大小为130M,往HDFS里面存储时,先将128M存储到第一个块里面,剩余的2M则会存储到第二个块里面,但第二个快的实际大小为2M。2.小文件小文件的存储,对HDFS是致命的,默认小文件的定义,各个公司是不同的,可以从自己公司的日常文件中,随机挑选1000个文件,以此来定义小文件的大小。...原创 2019-07-08 10:09:24 · 3380 阅读 · 0 评论 -
hostname方式启动hdfs
1.本地的host解析[hadoop@hadoop001 hadoop]$ cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.l...原创 2019-07-06 09:45:36 · 440 阅读 · 0 评论 -
HDFS API的使用
使用HDFS API之前,需要在我们项目的pom.xml文件添加关于hadoop的依赖。<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...原创 2019-09-05 14:54:05 · 226 阅读 · 0 评论