hadoop
化明
人生苦短
展开
-
1.hadoop 的需求原因
1.数据的大小 数据量最小的基本单位是 bit,按顺序给出所有单位:bit、Byte、KB、MB、GB、TB、PB、EB、 ZB、YB、BB、NB、DB 1 Byte =8 bit 1 KB = 1,024 Bytes = 8192 bit 1 MB = 1,024 KB = 1,048,576 Bytes (普通用户数据级别) 1 GB = 1,024 MB = 1,048,576 ...原创 2019-04-23 00:12:01 · 1197 阅读 · 0 评论 -
2. hadoop 的笔记
一,集群的初步使用 1.Hadoop 集群启动 DFS 集群启动:sbin/start-dfs.sh DFS 集群关闭:sbin/stop-dfs.sh YARN 集群启动:sbin/start-yarn.sh YARN 集群启动:sbin/stop-yarn.sh 2.HDFS 初步使用 查看集群文件:hadoop fs -ls / 上传文件:hadoop fs -p...原创 2019-04-23 00:12:51 · 175 阅读 · 0 评论 -
1.HDFS 笔记
一,HDFS 前言 HDFS:Hadoop Distributed File System Hadoop 分布式文件系统,主要用来解决海量数据的存储问题 1、 设计思想 分而治之:将大文件,大批量文件,分布式的存放于大量服务器上。以便于采取分而治之的方式对海量数据进行运算分析 要把存入进HDFS集群的所有的数据要尽量均匀的分散在整个集群中如果有100G 的数据 ①集群有100个节...原创 2019-04-23 00:13:53 · 274 阅读 · 0 评论 -
2.hdfs 的命令
hadoop fs === hdfs dfs hadoop namenode -format hdfs namenode -format hdfs dfsadmin -printTology 查看hdfs 的机架信息 hdfs dfsadmin report 查看整个集群相关信息的报告(各个信息是心跳机制发送过来的) hdfs dfsadmin -safemode get 查...原创 2019-04-23 00:14:30 · 128 阅读 · 0 评论 -
3.eclipse 查看 hdfs 的插件
HDFS 的 的 Java API 操作 hdfs 在生产应用中主要是客户端的开发,其核心步骤是从 hdfs 提供的 api 中构造一个 HDFS 的访问客户端对象,然后通过该客户端对象操作(增删改查)HDFS 上的文件 一、用 利用 eclipse 查看 hdfs 集群的文件信息 1、 下载一个 eclipse 开发工具 eclipse-jee-luna-SR1-win32-x86...原创 2019-04-23 00:15:57 · 256 阅读 · 0 评论