hdfs
化明
人生苦短
展开
-
1.HDFS 笔记
一,HDFS 前言 HDFS:Hadoop Distributed File System Hadoop 分布式文件系统,主要用来解决海量数据的存储问题 1、 设计思想 分而治之:将大文件,大批量文件,分布式的存放于大量服务器上。以便于采取分而治之的方式对海量数据进行运算分析 要把存入进HDFS集群的所有的数据要尽量均匀的分散在整个集群中如果有100G 的数据 ①集群有100个节...原创 2019-04-23 00:13:53 · 274 阅读 · 0 评论 -
2.hdfs 的命令
hadoop fs === hdfs dfs hadoop namenode -format hdfs namenode -format hdfs dfsadmin -printTology 查看hdfs 的机架信息 hdfs dfsadmin report 查看整个集群相关信息的报告(各个信息是心跳机制发送过来的) hdfs dfsadmin -safemode get 查...原创 2019-04-23 00:14:30 · 128 阅读 · 0 评论 -
3.eclipse 查看 hdfs 的插件
HDFS 的 的 Java API 操作 hdfs 在生产应用中主要是客户端的开发,其核心步骤是从 hdfs 提供的 api 中构造一个 HDFS 的访问客户端对象,然后通过该客户端对象操作(增删改查)HDFS 上的文件 一、用 利用 eclipse 查看 hdfs 集群的文件信息 1、 下载一个 eclipse 开发工具 eclipse-jee-luna-SR1-win32-x86...原创 2019-04-23 00:15:57 · 256 阅读 · 0 评论