大数据
黑铁级程序员
新手沉住气,别怕被嫌弃,终将是大牛!
展开
-
Java中通过反射方式获取当前输入分片的对应的文件路径
我们可以通过如下方式获取当前输入分片的文件路径:在mapper运行的时候,可以用如下的方法得到对应的filesplit,也就能拿到对应的"输入路径"等信息FileSplit fileSplit = (FileSplit)(reporter.getInputSplit()); // hadoop1.xFileSplit fileSplit = (FileSplit)(context.get...原创 2019-05-22 18:28:28 · 398 阅读 · 0 评论 -
HA模式手动切换namenode
转发:HA模式手动切换namenode转载 2019-05-06 14:52:38 · 374 阅读 · 0 评论 -
Hadoop集群搭建笔记
hadoop集群部署规划注意resourcemanager应和namenode和secondarynamenode错开部署进程名masterslave1slave2HDFSNameNode/DataNodeDataNodeSecondaryNameNode/DataNodeYARNNodeManagerResourceManager/NodeManage...原创 2019-07-02 21:12:40 · 122 阅读 · 0 评论