![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 83
cclovezbf
这个作者很懒,什么都没留下…
展开
-
hdfs - balancer学习
balance是啥,顾名思义 是个平衡器主要是平衡各个datanode之间的使用 网上的文档一个比一个写的6结果,有的命令都拼错了。。。而且你知道究竟平衡的是啥么直接上官网Apache Hadoop 3.2.2 – HDFS Commands Guidehttps://hadoop.apache.org/docs/r3.2.2/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html#balancer--查看balance 也就是集群之间转移数据的速度hdfs df原创 2022-06-27 15:16:16 · 3427 阅读 · 0 评论 -
yarn队列之fair队列。
参考详解Yarn中三种资源调度器(FIFO Scheduler、Capacity Scheduler、Fair Scheduler)和配置自定义队列实现任务提交不同队列_皮哥四月红的博客-CSDN博客_配置yarn前言在前面 Yarn的基本架构和作业提交全流程 一文中提到,当ResourceManager收到客户端Client的请求之后会将该作业job添加到(默认的)容量调度器中,然后再由某一个空闲的NodeManager领取该job并具体提供运算资源。那么,Yarn框架为什么要设计把作业添加到调度器中呢?原创 2022-05-06 10:51:06 · 943 阅读 · 0 评论 -
如何启用CGroup限制YARN CPU使用率
如何启用CGroup限制YARN CPU使用率0872-7.1.4-如何启用CGroup限制YARN CPU使用率https://mp.weixin.qq.com/s/6wARFLJWEb2rlZE6si9uug为什么要限制yarn cpu的使用率?cpu和core executor有什么关系 和我们说的几核几线程什么关系?其实我理解的就是我们在spark上说的core就是几核几线程的 几线程,我们申请核的目的主要是为了计算,可以看作算力....,也就是说我们spark任务每次运行需要x原创 2022-04-27 11:12:02 · 2031 阅读 · 0 评论 -
cdh集群数据同步到cdp集群-distcp
照例先上官网地址https://hadoop.apache.org/docs/r3.2.2/hadoop-distcp/DistCp.htmlz再上百度地址hadoop之 distcp(分布式拷贝) - 张冲andy - 博客园遇到的问题hadoop集群传输(kerberos、非kerberos、kerberos与非kerbers)_大D饲养员的博客-CSDN博客_kerberos集群distcphadoop集群传输(kerberos、非kerberos、kerberos与非kerber原创 2022-04-02 11:59:16 · 2600 阅读 · 0 评论 -
hadoop学习之WebHDFS (REST API)
官网永远是学习最好的地方https://hadoop.apache.org/docs/r3.2.2/hadoop-yarn/hadoop-yarn-site/FairScheduler.html为什么要用rest api呢? 使用这个之前我们是如何操作hdfs上的文件的?通过fs地址 和filesysterm,现在webHdfs这个明显好用。。。直接开搞。两种方式 一种是shell脚本 一种是java代码。webhdfs已经开启rest 端口为14000...原创 2021-07-26 15:55:15 · 2057 阅读 · 0 评论