CDH离线安装

最新推荐文章于 2024-01-29 12:07:33 发布

weixin_34293246

最新推荐文章于 2024-01-29 12:07:33 发布

阅读量83

点赞数

文章标签：大数据数据库 json

原文链接：https://my.oschina.net/zlhblogs/blog/1834868

版权

2019独角兽企业重金招聘Python工程师标准>>>

一、相关包的下载地址 Cloudera Manager下载地址： http://archive.cloudera.com/cm5/cm/5/ 或者 http://archive.cloudera.com/cm5/repo-as-tarball/ 下载信息： http://www.cloudera.com/content/cloudera/en/documentation/cloudera-manager/v5-latest/Cloudera-Manager-Version-and-Download-Information/Cloudera-Manager-Version-and-Download-Information.html#cmvdtopic1

CDH安装包地址：http://archive.cloudera.com/cdh5/parcels/latest/，由于我们的操作系统为CentOS6.5，需要下载以下文件： CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha manifest.json 二、环境配置只安装基础服务，节点准备： cdh-node1 主节点内存大于4G---->5.5G cdh-node2 大于2G---->2.5G cdh-node3 大于2G---->2.5G 1、配置jdk 、主节点ssh到所有节点、防火墙、selinux、ntp服务 2、安装配置MySql（主节点）安装：yum install mysql-server -y 设置开机启动：chkconfig mysqld on 启动：service mysqld start 设置root的初试密码：mysqladmin -u root password 'hive' 进入mysql：mysql -uroot -p 创建数据库：

hive

create database hive DEFAULT CHARSET utf8 COLLATE utf8generalci;

activity monitor

create database amon DEFAULT CHARSET utf8 COLLATE utf8generalci;

授权root用户在主节点拥有所有数据库的访问权限

grant all privileges on . to 'root'@'cdh-node1' identified by 'hive' with grant option; flush privileges; 三、安装Cloudera Manager Server 和Agent 1、上传 cloudera-manager安装包，解压到/opt目录下tar xzvf cloudera-manager*.tar.gz -C /opt，得到cm-5.1.3和cloudera目录 2、为Cloudera Manager 5建立数据库将mysql-connector-java-5.1.32.jar，放到/opt/cm-5.1.3/share/cmf/lib/ 3、主节点初始化CM5的数据库： /opt/cm-5.1.3/share/cmf/schema/scmpreparedatabase.sh mysql cm -hlocalhost -uroot -phive --scm-host localhost scm scm scm 出现All done, your SCM database is configured correctly!配置成功 4、Agent配置修改/opt/cm-5.1.3/etc/cloudera-scm-agent/config.ini中的serverhost为主节点的主机名： vi cm-5.1.3/etc/cloudera-scm-agent/config.ini --->serverhost=cdh-node1 同步Agent到其他节点 scp -r /opt/cm-5.1.3 root@cdh-node2:/opt/ scp -r /opt/cm-5.1.3 root@cdh-node3:/opt/ 所有节点创建cloudera-scm用户 useradd --system --home=/opt/cm-5.1.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm 5、准备Parcels 将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（如果没有parcel-repo需要手动创建）相关的文件如下： CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1 manifest.json 将CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1，重命名为CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha 6、启动脚本启动服务端：/opt/cm-5.1.3/etc/init.d/cloudera-scm-server start 启动Agent服务：/opt/cm-5.1.3/etc/init.d/cloudera-scm-agent start