★大数据开发入门★
文章平均质量分 54
云端轻尘
这个作者很懒,什么都没留下…
展开
-
(一)、认识 hadoop
hadoop不是一个英文单词, 是作者(Doug Cutiing)发明的词, hadoop名称来源作者小孩的一个絨毛填充黄色大象玩具. 它的发音是:[hædu:p] – 嗨都泼对原创 2016-01-20 10:36:24 · 378 阅读 · 0 评论 -
(二)、伪分布式环境搭建
安装好一个 linux. 这里使用 Ubuntu, 参考 Ubuntu安装好后, 需要做一些设置.原创 2016-01-20 10:39:30 · 778 阅读 · 0 评论 -
(四)、解决"复制出来的虚拟机不能启动 DataNode"
今天因测试需要, 需要第二台 hadoop 虚拟机, 于是就从 itcast01 克隆了一份, w但发现 DataNode 并没有被启动…查资料发现问题原因.原创 2016-01-20 10:46:50 · 1499 阅读 · 1 评论 -
(五)、HDFS 简介
HDFS 是一种分布式文件系统.常见的分布式文件系统有, GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等;原创 2016-01-20 10:47:37 · 415 阅读 · 0 评论 -
(六)、HDFS 常用 shell 操作
hadoop fs -ls hdfs://itcast01:9000/, 可简写成 hadoop fs -ls / 表示根目录 -R 递归查看 -h 简化大小显示hadoop fs -copyFormLocal <本地文件> 类似 puthadoop fs -cphadoop fs -moveFormLocal <本地原创 2016-01-20 10:48:20 · 278 阅读 · 0 评论 -
(七)、HDFS 剖析
NameNode – 管理节点DataNode – 存储节点Secondary NameNode – NameNode 助手 (hp 1.0)1. Client机架感知, 数据就近原则, 因为数据是分布式存储的, Client 会感知最近那个 DataNode 取数据.2. Metadata(元数据)存储细节: 为了安全, Metadata 在 HDFS 中会存储两份, 内存一份, 磁盘一份(镜像)原创 2016-01-20 10:49:39 · 285 阅读 · 0 评论 -
(八)、HDFS Java 接口
环境:windows 7+eclipse先在 windows 7 下搭建好 eclipse 项目环境, 新建 hadoop 工程, 新建个 lib 文件夹, 导入 hdfs 的相关 jar 包.原创 2016-01-20 10:50:50 · 397 阅读 · 0 评论