![](https://img-blog.csdnimg.cn/20200614163038844.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
--Hadoop
hadoop笔记
海若[MATRIX]
大数据全栈
展开
-
YARN默认调度器
1.调度器分类及特点FIFO:单队列 先进先出 小任务易阻塞CAPACITY:多队列 各队列资源固定 小任务可同时运行FAIR:多队列 各队列资源动态抢占 小任务可同时运行2.默认调度器Apache 开源:CAPACITYCDH版本:FAIR3.用法推荐中小厂资源较少:建议Capacity调度器,易管理。大厂资源充足:建议FAIR调度器,充分利用所有资源。4.示例:capacity调度器示例,两个队列,28分配,一个默认,一个小任务。...原创 2021-08-26 10:17:16 · 1085 阅读 · 0 评论 -
Kafka2.6.0 win10 IDEA2021 源码编译踩坑
1.组件kafka2.6.0gradle6.9scala2.13.22.报错源码根目录执行:gradle idea报错原因,gradle7.1版本太高,于是换了一个低版本6.9,编译成功。3.导入idea开始体验源码的魅力!原创 2021-07-05 02:26:40 · 168 阅读 · 0 评论 -
Spark报错: Permission denied: user=HaiRuo, access=WRITE
1.场景spark在hive上运行时报错2.报错Caused by: `org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=atguigu, access=WRITE, inode="/user/hive/warehouse/dwd.db/dwd_qz_chapter":root:supergroup:drwxr-xr-x..原创 2020-06-23 19:28:48 · 851 阅读 · 0 评论 -
Hadoop都有哪些配置文件
hadoop2.X4site.xmlcore-site.xmlyarn-site.xmlhdfs-site.xmlmapred.xml3env.shhadoop-env.shyarn-env.shmapred-env.sh1slaveshadoop3.x4 site.xmlcore-site.xmlyarn-site.xmlhdfs-site.xmlmapred.xml3 env.shhadoop-env.shyarn-env.shmapred-env.sh..原创 2020-06-14 17:11:20 · 566 阅读 · 0 评论 -
Hadoop常用端口
hadoop2.X50070 HDFS web端口9000 HDFS 服务器端口19888 历史服务器端口8088 YARN端口hadoop3.x9870 HDFS web端口8020 HDFS 服务器端口19888 历史服务器端口8088 YARN端口原创 2020-06-14 17:01:39 · 531 阅读 · 0 评论