![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
自然选择前进十
这个作者很懒,什么都没留下…
展开
-
MapRecduce模板(自动匹配包名,类名)
#if (${PACKAGE_NAME} && ${PACKAGE_NAME} != "")package ${PACKAGE_NAME};#endimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org原创 2020-10-27 09:55:05 · 147 阅读 · 0 评论 -
hdfs读取数据的整体流程
hdfs读取数据的整体流程 1,客户端节点(代码)获取FileSystem 2,FileSystem去namenode上获取要读取的文件块位置。并且返回给客户端节点 3,获取到文件的所有块信息以后,FSDataInputStream开始准备在不同的块中读取数据。 4,FSDataInputStream内部有一个类,HdfsDataInputStream 保存文件的块信息列表,还负责挑选最近和最新的块在哪里。 FSDataInputStream内部另一个类,Streamer 负责读取操作 5原创 2020-10-27 09:52:27 · 531 阅读 · 0 评论 -
HDFS-API编程基本操作
常用操作 :1,用代码删除hdfs上的文件2,追加数据到hdfs文件3,获取校验和4,修改权限测试代码:```javaimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileChecksum;import org.a原创 2020-10-27 09:50:24 · 330 阅读 · 0 评论 -
HDFS命令
原创 2020-10-27 09:46:54 · 93 阅读 · 0 评论