Hadoop
Hadoop生态组件
wubwub
这个作者很懒,什么都没留下…
展开
-
hdfs之常用javaAPI
开发hdfs的javaAPI操作编写测试代码创建文件夹@Test public void mkdirToHdfs() throws IOException { Configuration configuration = new Configuration(); configuration.set("fs.defaultFS","hdfs://node01:8020"); FileSystem fileSystem = FileSystem.get(configurat原创 2020-12-02 11:28:25 · 127 阅读 · 0 评论 -
Hadoop架构模块
hadoop的架构模块介绍Hadoop由三个模块组成:分布式存储HDFS、分布式计算MapReduce、资源调度引擎YarnHDFS模块:namenode:主节点,主要负责集群的管理以及元数据信息管理datanode:从节点,主要负责存储用户数据secondaryNameNode:辅助namenode管理元数据信息,以及元数据信息的冷备份Yarn模块:ResourceManager:主节点,主要负责资源分配NodeManager:从节点,主要负责执行任务原创 2020-12-02 11:27:21 · 113 阅读 · 0 评论 -
hdfs的shell命令操作
hdfs的shell命令操作HDFS命令有两种风格:hadoop fs开头的hdfs dfs开头的两种命令均可使用,效果相同如何查看hdfs或hadoop子命令的帮助信息,如ls子命令hdfs dfs -help lshadoop fs -help ls #两个命令等价查看hdfs文件系统中指定目录的文件列表。对比linux命令lshdfs dfs -ls /hadoop fs -ls /hdfs dfs -ls -R /在hdfs文件系统中创建文件hdf原创 2020-12-02 11:26:39 · 262 阅读 · 0 评论