cdh5.10.2离线安装

最新推荐文章于 2021-09-24 14:30:44 发布

weixin_30314813

最新推荐文章于 2021-09-24 14:30:44 发布

阅读量301

点赞数

文章标签：大数据 json 数据库

原文链接：http://www.cnblogs.com/yangx/p/9111156.html

版权

cdh5.10.2离线安装

安装包：

下载cm-5.10.2到/usr/local/soft/下
     http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.4.3_x86_64.tar.gz
下载cdh-5.4.3到/usr/local/soft/下
         http://archive-primary.cloudera.com/cdh5/parcels/5.4.3/
        CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel
        CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha 
        manifest.json
下载mysql
    Mysql-connector-java-5.1.34

配置/etc/hosts

    vim /etc/hosts
        192.168.1.201    hx1
        192.168.1.202    hx2
        192.168.1.203    hx3
        192.168.1.204    hx4
        192.168.1.205    hx5

关闭防火墙
    service iptables stop
    chkconfig iptables off
    service iptables status

关闭selinux
    vim /etc/selinux/config
    #SELINUX=enforcing
    SELINUX=disabled

集群时间同步：同步时间每天的00:01，同步日志存放在/opt/systime.log

Vim systime.sh
#!/bin/sh
Cur=’date +%H:%M:%S’
Echo “sync time starting : $Cur”
for i in {1..5}; do echo s1-hx${i}; ssh hx${i} “source /opt/profile; date –s $ Cur”;done;
Echo “sync time starting : $Cur”

在/etc/目录下使用：crontab –e

输入 ：1 0 * * * /etc/systime.sh >>/opt/systime.log （1 0 * * *中间有空格）

安装jdk7
    cd /usr/local/soft/
    tar -zxvf jdk-7u65-linux-x64.tar.gz
    vim /etc/profile
    export JAVA_HOME=/usr/local/soft/jdk1.7.0_65
    export PATH=.:$JAVA_HOME/bin:$PATH

安装mysql
    rpm -qa | grep -i mysql
    rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64
    yum install mysql-server
    service mysqld start
    chkconfig mysqld on
    mysql -uroot –p                                 此时mysql无密码
        set password=password('123456');                设置密码
        flush privileges;                               生效
        exit                                        退出
    mysql -uroot -p123456                           登录

如下数据库只在s1节点上：
创建集群监控数据库

   create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

创建hive数据库

   create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

创建hue数据库（cloudera提供的在浏览器上使用HDFS文件浏览、hiveSQL、Solr、Impala、Spark、Pig、Oozie、HBase操作、MapReduce、Sqoop2、ZooKeeper、MySQL、Oracle、Postgresql）

   create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

开启远程登录权限：
在hx1节点上登陆mysql授权mysql对所有库下的表授权，允许任何用户远程访问

mysql> grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
Query OK, 0 rows affected (0.02 sec)

刷新权限使mysql权限生效

mysql> flush privileges;
Query OK, 0 rows affected (0.01 sec)
mysql> use mysql;
Database changed
mysql> select host,user,password from user;
+--------------+------+-------------------------------------------+
| host         | user | password                                  |
+--------------+------+-------------------------------------------+
| localhost    | root | *A731AEBFB621E354CD41BAF207D884A609E81F5E |
| %         | root | *A731AEBFB621E354CD41BAF207D884A609E81F5E |    表示成功
+--------------+------+-------------------------------------------+
2 rows in set (0.00 sec)

如果还是提示远程登录有问题可暂时关闭远程登录表跳过权限验证，启动mysql时不启动授权表：

mysqld_safe --skip-grant-tables &

配置免密码登陆，每个节点都需要

    ssh-keygen -t rsa（三次回车）
    ll /usr/local/soft/    
    cloudera-manager-el6-cm5.4.3_x86_64.tar.gz

ll /usr/local/soft/

    CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel
    CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha 
    manifest.json
    重命名：（mv CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha1 CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha）

安装cloudera-manager-5.4.3
解压cm-5.10.2到/opt下

        tar -zxvf /usr/local/soft/cloudera-manager-el6-cm5.4.3_x86_64.tar.gz -C /opt/

创建scm用户（在每个节点上都要）

        useradd --system --home=/opt/cm-5.10.2/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
        vim /opt/cm-5.10.2/etc/cloudera-scm-agent/config.ini
        设置server_host=s1 （每个节点）
        
        cp /usr/local/soft/mysql-connector-java-5.1.34-bin.jar /opt/cm-5.10.2/share/cmf/lib/

创建cm数据库

        /opt/cm-5.10.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm
        
        #复制CDH到/opt/cloudera/parcel-repo/下（只在s1上复制，其他节点不需要）
        
        CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel
        CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha
        manifest.json

复制到s2~s6节点

    for i in {2..6}; do echo hx${i}; scp -r /opt/c* root@hx${i}:/opt/; done; (中途不可停止，否则删除已拷贝节点文件重新执行)
    
    启动cm server（s1上）
        /opt/cm-5.10.2/etc/init.d/cloudera-scm-server start(start|stop|status)
    启动cm agent（s1~s6上）
        /opt/cm-5.10.2/etc/init.d/cloudera-scm-agent start(start|stop|status)

使用s1:7180中开始配置集群，如下：

    登录CDH平台账号admin密码admin 
  ![](https://images2018.cnblogs.com/blog/1128374/201805/1128374-20180530162503476-1901935572.png)

选择需要安装的版本

继续

初次安装需要在新主机里面搜索主机例如 hx[1-5] 然后选中所有主机

如图：使用parcel（点击更多选项取消点网络连接地址）选择CDH版本安装（如有其它的parcel 可放置clodera/parcel/parcel-repo/下 [包括：.parcel、.parcel.sha、manifest.json] 文件）

等待各节点下载-分配-解压-激活（如果出现各节点配置失败提示主机状态不良，可进行如下操作：

cloudera-scm-agent stop
cloudera-scm-server
搜索 uuid文件：find / -name uuid 进入对应的目录一般为 /opt/cm-5-10-2/lib/cloudera-scm-agent
删除目录下的 uuid 、response.avro 、cm_guid（每个节点都需要清除）
）

此地的检查可以忽略

查看主机安装信息，可将具体的版本记录以备后期开发参照

更改swappiness: echo 10 > /proc/sys/vm/swappiness

如果有提示透明大页面压缩根据提示操作即可

选择需要安装的组件对组件进行相应的分配:

根据前期创建的是数据库填写对应的数据库主机地址-库类型-库名-用户-密码

忽略继续

根据安装进度查看相应的日志：解决相应的问题

同上

安装完成：

安装过程中的问题：
CentOS下MySQL无法正常启动错误
一、非正常关机/退出MySQL时报错：/var/lib/mysql/mysql.sock

    删除或重命名：rm -r /var/lib/mysql/mysql.sock或mv /var/lib/mysql/mysql.sock /var/lib/mysql/mysql.sock.err
    重启MySQL：service mysqld restart即可解决。

二、告警提示：客户端生成需要激活以下其他parcel :[kafka]

这是安装包里面没有相应的安装包，或者是manifest.json 没有对应的hash密钥
查看cloudera/parcel-repo/manifest.json是否存在对应组件，如果没有就自行下载组件
KAFKA-2.1.0-1.2.10.po.115-e16.parcel、
KAFKA-2.1.0-1.2.10.po.115-e16.parcel.parcel.sha、
manifest.json 将文件内对应版本的hash密钥拷贝到cloudera/parcel-repo/manifest.json下
 
启动cm服务，检查更新parcel，分配并激活percel包，注意此处一定要激活才能使用

三、hdfs:运行状态问题 NameNode 运行状态 NameNode 检查点状态爆红

查看日志  可以看到 提示 Can’t open     /opt/cm-5.10.2/run/choudera-scm/agent/process/141-hdfs-NAMENODE/config.zip:权限不够以及proc.json 权限不够。
赋权限：chmod 777 config.zip proc.json 即可

四、告警提示：permission denied : user=root ,access =write , inode=”user”:hdfs:supergroup:drwxr-xr-x

查看hdfs目录权限：hadoop fs –ls /
更改权限 sduo –u hdfs hadoop fs –chmod -R  777 /user /tmp

五Hadoop0.20.203.0在关机重启后，namenode启动报错(org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /dfs/name is in an inconsistent state: storage directory does not exist or
is not accessible.）

错误原因是因为namenode 的是数据丢失
可以格式化namenode :Hadoop namenode –format（慎用） 
六 flume 提示 java.lang.OutOfMemoryError: Java heap space
查看ps –ef |grep flume-ng是fo否有/usr/jdk/bin/java -Xmx20m -Dflume.root.logger=INFO
如果有-Xmx20m 查找一下flume-ng文件
    Find / -name flume-ng (查看此文件的位置) 在文中找到 JAVA_OPTS修改为
JAVA_OPTS=“-Xmx1024m”

转载于:https://www.cnblogs.com/yangx/p/9111156.html

weixin_30314813

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
cdh5.10.2离线安装

cdh5.10.2离线安装安装包：下载cm-5.10.2到/usr/local/soft/下 http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.4.3_x86_64.tar.gz下载cdh-5.4.3到/usr/local/soft/下 http://archive-prim...
复制链接

扫一扫