![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
白日与明月
厚德 博学 慎思 笃行
展开
-
HDFS JavaAPI 学习
HDFS的JavaAPI操作案例原创 2017-01-31 20:38:35 · 315 阅读 · 0 评论 -
单词统计案例
要解决的问题: 统计最后一个单词出现的次数[如下面的格式] a,b,c,d e,d,s,d a,s,g,w ....[来自一个同学的面试题]原创 2017-02-15 19:50:59 · 350 阅读 · 1 评论 -
DistCp(分布式拷贝)
概述DistCp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。 它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Reduce方法,这个工具在语义和执行上都会有特殊的地方。 这篇文档会为常用DistCp操作提供指南并阐述它的工作模型。 【文档来源于Hado翻译 2017-03-20 17:00:35 · 1605 阅读 · 0 评论 -
集群文件迁移
数据迁移的场景:集群数据整体搬迁;数据的准实时同步(数据的双备份可用),冷热集群数据分类存储(线上的数据和另外一个冷数据集群).DistCp分布式拷贝命令.原创 2017-03-21 14:32:03 · 882 阅读 · 0 评论 -
HDFS权限说明
HDFS文件系统权限和Linux的很类似:相对于文件: R读取文件 W写文件权限相对于目录: R表示能够读取目录下的文件列表 W权限表名的是能够在目录下创建或者是删除文件和目录 X权限表示能够从该目录进入其子目录中. T表示:(暂时没找到资料)原创 2017-04-08 10:15:18 · 924 阅读 · 0 评论