hadoop
没有络腮胡
知必行,行必坚!
展开
-
zookeeper环境搭建
zk环境搭建 1.检查jdk,准备安装包,确定安装路径 2.解压安装包到指定目录 3.修改配置文件 zoo.cfg ①、tickTime:基本事件单元,这个时间是作为Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,每隔tickTime时间就会发送一个心跳;最小 的session过期时间为2倍tickTime ②、dataDir:存储内存中数据库快照的位置,除非另有说明,否则指向数据库更新的事务日志。注意:应该谨慎的选择日志存放的位置,使用专用的日志存储设备能够大大提高系统的性能,如果将原创 2021-06-15 16:32:26 · 106 阅读 · 0 评论 -
Yarn功能简介
我对yarn的理解 Yarn是一种新的hadoop资源调度器。yarn的基本思想是将JobTracker的两个功能(资源管理和作业调度/监控)分离开来,主要的方法是创建一个全局的RM和若干个针对应用程序的AM。(应用程序指的是MR作业或者是作业的DAG) Yarn的主要构件有:ResourceManager(RM),ApplicationMaster(AM),NodeManger(NM...原创 2018-04-25 18:51:21 · 3978 阅读 · 0 评论