【Hadoop】6、Hadoop安装之报错处理

错误报错

1、时间不能同步

2014.12.18
做同步时间的时候，执行命令操作：
[root@zhanglin ~]# /usr/sbin/ntpdate pool.ntp.org
会报错：
Name server cannot be used, exiting18 Dec 19:39:39 ntpdate[3592]: name server cannot be used, reason: Temporary failure in name resolution

1、首先确认ntpd 服务是开启的。
[root@retail-153 ~]# /etc/init.d/ntpd start
正在启动 ntpd： [确定]

2、检查你的DNS是否添加，如果没有添加，就把你所使用的添加上去。
编辑文件：

[root@zhanglin ~]# vi /etc/resolv.conf

Generated by NetworkManager

nameserver 202.99.144.12
nameserver 202.99.143.11

或者添加通用DNS： nameserver 8.8.8.8

测试：
[root@zhanglin ~]# ntpdate pool.ntp.org
18 Dec 13:40:32 ntpdate[23722]: the NTP socket is in use, exiting
[root@retail-153 ~]# date -R
Thu, 18 Dec 2014 13:40:36 +0800

http://blog.itpub.net/27099995/viewspace-1372167/

2、当cloudera-manager-installer.bin安装不完全
也就是没联网的时候安装的时候错误的时候，我们后面直接吧相应的usr/share/cmf文件夹全部删除就好饿了

3、一个问题就是yum源无法安装cloud-manager

yum源更新后需要导入 key值，否则报错如下，无法安装相关的包。
Total size: 42 M
Downloading Packages:
warning: rpmts_HdrFromFdno: Header V3 RSA/SHA1 Signature, key ID c105b9de: NOKEY
Retrieving key from file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-5

GPG key retrieval failed: [Errno 14] Could not open/read file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-5

解决办法：
1. 先安装如下工具包：
rpm -Uhv http://dag.wieers.com/packages/rpmforge-release/rpmforge-release-0.3.4-1.el4.rf.i386.rpm
[root@localhost yum.repos.d]# rpm –import /etc/pki/rpm-gpg/RPM-GPG-KEY-6

一般来说安装完成后即可，安装完这个就可以了。
如果还是不行，查看系统的
编辑yum源文件：替换 RPM-GPG-KEY-CentOS-5 替换为对应的 key 文件名：RPM-GPG-KEY-CentOS-6 （要全部替换）
root@localhost yum.repos.d]# vi CentOS-Base-sohu.repo
[base]
name=CentOS-$releasever - Base - sohu.com
mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=os
baseurl=http://mirrors.sohu.com/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

4、error: rpmts_HdrFromFdno: headerRead failed: hdr blob(982592): BAD, read returned 32296

这里爆了一堆错的主要原因是rpm包坏了，我从新下载就都好了

5、cdh安装失败，无法进行身份认证

可能我们前面配置的是对ROOT用户进行免秘钥，我们要对所有的用户进行免秘钥！！！！

6、安装报错无法打开”/var/log/cloudera-scm-agent//cloudera-scm-agent.log” 读取数据: 没有那个文件或目录

这个错误是因为在/etc/hosts 里IP/hostname 的对应不正确，修好之后再点选Retry 。这个错误是因为在/etc/hosts里IP/hostname的对应不正确，修好之后再点选Retry 。 Cloudera Manager 会先把之前的所有操作rollback，回复到初始状态之后才重装。 Cloudera Manager 会先把之前的所有操作rollback，回复到初始状态之后才重装。

7、安装失败。 无法接收 Agent 发出的检测信号。

请确保主机的名称已正确配置。
请确保端口 7182 可在 Cloudera Manager Server 上访问（检查防火墙规则）。
请确保正在添加的主机上的端口 9000 和 9001 空闲。
检查正在添加的主机上 /var/log/cloudera-scm-agent/ 中的代理日志（某些日志可在安装详细信息中找到）。

could not find config file /var/run/cloudera-scm-agent/supervisor/supervisord.conf

这个错误的解决是：

修改了我们/etc/hosts文件之后，我们得重启一下服务cloudera-scm-agent

service cloudera-scm-agent restart

8、安装CM之后无法显示

9、7180界面打不开

用impala做实验遇到了cloudera-scm-server dead but pid file exists问题。
问题发生的经过是这样的：
首先我在单机配置的为2核4GB内存的5台虚拟机上安装了cloudera manager，然后用它安装了cdh和impala
然后一切都是正常的，我就往集群的hdfs里面导入了100GB的数据
然后一切仍然是正常的，可是突然有一天，cloudera manager的web界面无法访问了(7180端口的那个)，hadoop还可以用，impala挂掉了
之前用大内存的虚拟机装上百节点的impala都是没问题的呀，估计是内存不足导致的（想起来之前装过一次单机2GB内存的集群，装完不久 cloudera manager就也打不开了，当时由于用不到这个集群也就每台多想），查看了一下主节点上（也就是运行cloudera manager、即cloudera-scm-server的那个节点），果然啥也没干内存就只剩下400MB了。
看来安装impala，单机内存配置至少应该是8GB。

不过还是尝试解决了这个问题：
首先交代下实验环境：
硬件配置上面已经说了，操作系统是CentOS6.4 64位，软件cdh4.5.0.30+impala1.2.1.850
操作步骤如下：