大数据
徒余途
on the way,to my destination!
展开
-
基于cloudera manager的大数据集群平台搭建之集群配置优化
Yarn配置优化配置修改统一在Cloudera-manager中进行修改,操作如下:进入配置页面,选中左侧资源管理:进行如下配置,这里的配置得根据当前NodeManager空闲内存来决定,可以看到cs02配置10GB内存,cs03-cs05配置12GB内存:上面的0字节,是采用默认配置大小,并不是真的为0。其他重要的配置参数解释:1. 配置参数yarn.nodemanager.local-dirs:NodeManager会通过参数yarn.nodemanager.local-dir原创 2020-10-30 18:32:13 · 468 阅读 · 0 评论 -
基于cloudera manager的大数据集群平台搭建之集群服务安装
继续上篇,这篇介绍集群服务安装监控服务安装出现如下界面的原因是我们没有安装监控服务,因此应该首先安装监控服务,便于后面安装其他服务的过程出现问题的排查。点击如下直接进行添加监控服务的操作:选择需要将服务添加的主机,一般监控服务建议单独安装到一台专门用于监控的服务器上,由于我们的集群资源有限,所以监控服务全部安装到了主节点。选定我们的分配的主机cs01后,点击继续进入如下页面:这里要对数据的存储目录进行修改,原因是我们根目录的总容量为50G,存储空间太小,因此需要跟换到容量大一点的目录下,原创 2020-10-30 18:31:51 · 547 阅读 · 0 评论 -
基于cloudera manager的大数据集群平台搭建
对于大数据平台,需要的服务器数量较大,对每个服务器进行单一配置安装维护,具有很大的困难。因此,基于cloudera manager管理工具进行搭建大数据平台,具有很大的实用性。已有的参考文章Cloudera Manager安装_搭建CDH集群集群管理工具安装集群准备环境配置1.1 hostname和ip映射修改每台主机hostname和ip映射,这里我们以root用户在每台服务器进行操作,执行命令:vim /etc/hosts// 添加以下内容ip0 name0ip1 name1.原创 2020-10-29 15:24:42 · 666 阅读 · 0 评论