hadoop
好吃的都给你呀
这个作者很懒,什么都没留下…
展开
-
Hdfs读文件流程
我的hadoop集群是三台服务器,分别为hadoop101,hadoop102,hadoop103。其中,namenode部署在hadoop101上面,三台服务器分别部署一个datanode,secondaryNamenode在Hadoop103上。一,客户端向NameNode申请读取某文件。二,NameNode返回目标文件的元数据三,开始读取第一块,这里利用就近原则挑选一台存着三份该数据块的服务器的其中之一,进行读取四,后续开始随机选取其他数据块所在的服务器五,读取完成,读取的...原创 2020-12-10 21:57:12 · 298 阅读 · 1 评论 -
Hdfs写数据流程
Hdfs写数据流程我的hadoop集群是三台服务器,分别为hadoop101,hadoop102,hadoop103。其中,namenode部署在hadoop101上面,三台服务器分别部署一个datanode,secondaryNamenode在Hadoop103上。一,客户端创建一个文件系统对象向NameNode申请上传文件到hdfs的某个目录。二,NameNode响应客户端同意上传。三,客户端对文件按照指定大小(默认为128M)进行切块,然后请求传输第一块。四,N...原创 2020-10-25 17:13:47 · 270 阅读 · 0 评论 -
Hdfs的JAVA客户端常用操作
package com.yht.utils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.IOUtils;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.net.URI;public .原创 2020-10-25 16:53:12 · 279 阅读 · 0 评论 -
Hdfs的Shell客户端常用操作
(1)-help:输出这个命令参数hadoop fs -help rm(2)-ls: 显示目录信息hadoop fs -ls /(3)-mkdir:在hdfs上创建目录hadoop fs -mkdir -p /sanguo/shuguo(4)-moveFromLocal从本地剪切粘贴到hdfstouch kongming.txthadoop fs-moveFromLocal./kongming.txt/sanguo/shuguo(5)-ap...原创 2020-10-24 16:31:29 · 187 阅读 · 0 评论