![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
Corwin坤
这个作者很懒,什么都没留下…
展开
-
hadoop原理巧用到异地机房双活
为什么要考虑hadoop集群异地双活?因为我们一般集群的建设基本上都是部署在同一个地方,为了保证公司业务24小时不间断服务,所以必须要考虑集群的高可用,而我们常见的高可用一般是给A集群搞个灾备集群B集群,A、B集群不会再同一个机房,A、B集群的数据同步依赖于hadoop自身提供的工具distcp,那么discp有什么缺点呢。 1.长时间占用yarn资源 2.一般只同步重要的部分数据(这一点其实没毛病) 3.两个集群必须所有节点必须网络畅通 4.天级别数据延迟,因为我们可能一天24小时都在同步...原创 2020-07-02 01:13:57 · 2343 阅读 · 1 评论 -
idea右键run一个mini-hadoop集群
仓库地址:https://github.com/changkunw/hadoop-mini-cluster 这个代码是我从hadoop的源码里面扣了一部分出来,然后做了些修改,可以实现在idea里面就启动NameNode和DataNode,方便理解hadoop源码。 运行,runMiniClusterExample 运行之后就可以在启动一个迷你的hadoop集群了, ...原创 2020-07-01 23:42:28 · 231 阅读 · 0 评论 -
hadoop client获取Active NameNode 小窍门
获取NameNode的方法 Configuration configuration = new Configuration(); FileSystem fileSystem = FileSystem.get(configuration); DistributedFileSystem dfs = (DistributedFileSystem) fileSystem; DFSClient client...原创 2020-03-31 11:20:12 · 1135 阅读 · 0 评论