cloudera 离线安装

1.1 设置ip地址

service network restart
验证: ifconfig

1.2 关闭防火墙

service iptables stop
验证: service iptables status

1.3 关闭防火墙的自动运行

chkconfig iptables off
chkconfig --list iptables
验证: chkconfig --list | grep iptables

1.4 设置主机名

(1)hostname chaoren
(2)vi /etc/sysconfig/network

1.5 ip与hostname绑定

vi /etc/hosts
验证: ping chaoren

1.6 设置ssh免密码登陆
执行命令

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh-copy-id -i ~/.ssh/id_rsa.pub hostname
ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 20022 test@192.168.3.2"

修改端口全局的

vi /etc/ssh/ssh_config
Port 20022

验证： ssh hostname
1.7 安装jdk

(1)cd /usr/local
(2)chmod u+x jdk-6u24-linux-i586.bin
(3)./jdk-6u24-linux-i586.bin
tar zxvf xxxx.gz

(4)mv jdk-1.6.0_24  jdk
(5)vi /etc/profile 增加内容如下:
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
(6)source /etc/profile
验证: java -version

1.8 关闭seLinux

vi  /etc/selinux/config  （将SELINUX改为disabled）

重启
reboot -h now

2.1 ntp同步
主机

yum install -y ntp
vim /etc/ntp.conf 
restrict default nomodify
server  127.127.1.0     # local clock
fudge   127.127.1.0 stratum 10
 /etc/init.d/ntpd start
客户机
yum install -y ntp
vim /etc/ntp.conf 
server 主机IP
server  127.127.1.0     # local clock
fudge   127.127.1.0 stratum 10
 /etc/init.d/ntpd start

3 mysql 安装

不能创建mysql用户
lsattr /etc/passwd
chattr -i /etc/passwd
lsattr /etc/group
chattr -i /etc/group
lsattr /etc/gshadow
chattr -i /etc/gshadow
lsattr /etc/shadow
chattr -i /etc/shadow

卸载mysql
rpm -qa |grep mysql
rpm -e --nodeps xxxxx

安装mysql
yum -y install mysql-server
service mysqld start
chkconfig mysqld on
mysql_secure_installation

语法：

CREATE USER 'username'@'host' IDENTIFIED BY 'password';
   例子: CREATE USER 'dog'@'localhost' IDENTIFIED BY '123456';
语法：mysql> grant 权限1,权限2,...权限n on 数据库名称.表名称 to 用户名@用户地址 identified by '连接口令';
grant all privileges on vtdc.* to joe@10.163.225.87 identified by '123';

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
grant all privileges  on *.* to root@'%' identified by "xxx";
flush privileges; 

——————————–准备CDH安装包

• 介质准备
1、执行文件下载
http://archive.cloudera.com/cm5/installer/
2、rpm包下载
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/
2、kafka包下载
http://archive.cloudera.com/kafka/parcels/latest/

• 配置yum源
进入/etc/yum.repos.d目录创建cloudera-manager.repo文件。内容如下：
[cloudera-manager]
name = Cloudera Manager, Version 5.3.2
baseurl = http://IP地址/cm5.3.2
gpgcheck = 0

• 依赖的软件服务
CM安装需要依赖postgresql数据库（可以更改为其他数据库）和其他一些服务组件，可以在操作系统安装时进行软件的选择安装也可以后期安装。安装时可以下载安装包进行安装，也可以使用yum方式进行安装，yum方式安装：

yum -y install postgresql-server
yum -y install postgresql
yum -y install httpd
yum -y install perl
yum -y install bind-utils
yum -y install libxslt
yum -y install cyrus-sasl-gssapi
yum -y install redhat-lsb
yum -y install cyrus-sasl-plain
yum -y install portmap 
yum -y install fuse 
yum -y install fuse-libs 
yum -y install nc
yum -y install python-setuptools

service httpd start
service httpd setatus

• 本地yum源验证
将rpm包放入/var/www/html/cdh目录，启动http服务，将repo文件中的baseurl地址粘贴到浏览器以验证是否能通过http方式进行访问。
• 开始安装
任意目录执行cloudera-manager-installer.bin开始安装。
• 日志查看和错误定位
安装过程中可以能会出现错误提示，在安装提示框上查看对应错误日志生成目录，查看对应的错误日志即可。
无论安装是否成功，对应/etc/yum.repos.d目录下会增加.rpmnew文件，此文件一般链接到下载CM的远程仓库地址，删除在继续重试安装。

其他用户啊添加sudo 权限
Visudo

安装失败
yun clean all
servicecloudera-scm-server restart

减少对swap分区写数据
echo 0 > /proc/sys/vm/swappiness 临时
sysctl -w vm.swappiness=0
降低hadoop集群对cpu的占用
echo never >/sys/kernel/mm/redhat_transparent_hugepage/defrag (/etc/rc.local)

7182
7180

Lib包位置
/usr/share/cmf/lib

/opt/cloudera/parcels/CDH/lib