【持续更新】Hadoop笔记

小董的数据库进阶之路

已于 2023-07-16 18:56:46 修改

阅读量250

点赞数

分类专栏： hadoop 文章标签： hadoop 笔记大数据

于 2023-07-16 09:28:18 首次发布

本文链接：https://blog.csdn.net/u010438126/article/details/131747161

版权

hadoop 专栏收录该内容

29 篇文章 3 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文详细记录了Hadoop HDFS的shell命令使用，包括上传、查看、下载文件，以及Java接口操作HDFS。同时，介绍了Hadoop通信机制，深入到HDFS源码分析，讲解了从FileSystem到NameNode的通信过程。此外，文章还涵盖了Linux环境的配置，如静态IP设置、主机名映射、防火墙关闭，JDK和Hadoop的安装与配置，以及SSH免登陆设置。

摘要由CSDN通过智能技术生成

1.HDFS shell
   1.0查看帮助
       hadoop fs -help <cmd>
   1.1上传
       hadoop fs -put <linux上文件> <hdfs上的路径>
   1.2查看文件内容
       hadoop fs -cat <hdfs上的路径>
   1.3查看文件列表
       hadoop fs -ls /
   1.4下载文件
       hadoop fs -get <hdfs上的路径> <linux上文件>

2.使用java接口操作HDFS
见eclipse工程下的demo

3.hadoop通信机制
不同进程之间的方法进行调用

4.HDFS源码分析
   FileSystem.get --> 通过反射实例化了一个DistributedFileSystem --> new DFSCilent()把他作为自己的成员变量
   在DFSClient构造方法里面，调用了createNamenode，使用了RPC机制，得到了一个NameNode的代理对象，就可以和NameNode进行通信了

   FileSystem --> DistributedFileSystem --> DFSClient --> NameNode的代理