下载文件:
1,下载CDH,http://archive.cloudera.com/cdh5/parcels/latest 注意版本问题parcel, parcel.sha1, manifest.json
2,下载CM http://archive-primary.cloudera.com/cm5/cm/5/
3,下载JDK 使用7.79版本
配置:
如果没有说明都是root操作
1,网络配置
1.1 修改hostname,vim /etc/sysconfig/network
HOSTNAME=n1
其他节点类似
2 修改hosts
192.168.1.160 n1
192.168.1.161 n2
192.168.1.162 n3
3,安装java jdk
rpm -ivh jdk-7u79-linux-x64.rpm
echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment
4,防火墙和selinux
service iptables stop
chkconfig iptables off
vim /etc/selinux/config -> disabled
5,安装配置ntp服务
5.1 安装,yum -y install ntp
5.2 配置 主节点 替换默认的server
server 1.cn.pool.ntp.org prefer
server 127.127.1.0
fludge 127.127.1.0 stratum 10
从节点配置,替换默认的主节点
server n1
5.3 启动 service ntpd start | chkconfig ntpd on
6,安装mysql connector
yum -y install mysql-connector-java.noarch
7,准备scm账户
useradd --system --home=/opt/cm-5.3.9/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
配置n1(额外):
1,ssh登陆
1.1 n1产生公钥
ssh-keygen -t rsa
1.2 把公钥添加到认证文件中
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
1.3 设置文件权限
chmod 600 ~/.ssh/authorized_keys
1.4 拷贝认证文件到所有datanode(n2,n3)节点
scp ~/.ssh/authorized_keys root@n2:~/.ssh/
1.5 测试是否可以无密码登录
ssh n2 | ssh n3
2, 安装mysql
2.1 安装 mysql
yum install mysql-server | service mysqld start |chkconfig mysqld on
2.2 设置root密码
mysqladmin -u root password 'mysql'
2.3 准备数据库
mysql -uroot -p
创建两个数据库hive,activity monitor
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
授权访问:
grant all privileges on *.* to 'root'@'n1' identified by 'root' with grant option;
flush privileges;
3,ntp
已经配置,查看状态:ntpstat
手动同步ntp,节点n2,n3: ntpdate -u n1
部署,在n1节点操作:
1,将部署文件cloudera-manager-el6-cm5.3.9_x86_64.tar.gz放到/opt下
tar -xzvf cloudera-manager-el6-cm5.3.9_x86_64.tar.gz
2,准备parcels
cd /opt/cloudera/parcel-repo/
将CDH-5.3.9-1.cdh5.3.9.p0.8-el6.parcel CDH-5.3.9-1.cdh5.3.9.p0.8-el6.parcel.sha manifest.json
三个文件放到此目录
3, 修改agent配置
vim /opt/cm-5.3.9/etc/cloudera-scm-agent/config.ini
server_host=n1
4. 拷贝agent到各datanode节点(n2-n3)
scp -r /opt/cm-5.3.9 root@n2:/opt/
5. 初始化数据库
/opt/cm-5.3.9/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pchina --scm-host localhost scm scm scm
安装:
1. 在namenode启动server和agent(主节点也是要做到集群中的, 所以主节点也要开启Agent)
/opt/cm-5.3.9/etc/init.d/cloudera-scm-server start
/opt/cm-5.3.9/etc/init.d/cloudera-scm-agent start
2. 在所有datanode启动agent
/opt/cm-5.3.9/etc/init.d/cloudera-scm-agent start
3. 在局域网内访问: http://n1:7180/cmf/login, 如果你是windows可以修改hosts文件后用: http://n1:7180/cmf/login
默认帐号密码:admin,安装使用free版本
注意:有个问题:Cloudera 建议将/proc/sys/vm/swappiness设置为0,当前设置为60
echo 0 > /proc/sys/vm/swappiness 即可解决
查看状态:
端口:netstat -tunlp | grep java
1,下载CDH,http://archive.cloudera.com/cdh5/parcels/latest 注意版本问题parcel, parcel.sha1, manifest.json
2,下载CM http://archive-primary.cloudera.com/cm5/cm/5/
3,下载JDK 使用7.79版本
配置:
如果没有说明都是root操作
1,网络配置
1.1 修改hostname,vim /etc/sysconfig/network
HOSTNAME=n1
其他节点类似
2 修改hosts
192.168.1.160 n1
192.168.1.161 n2
192.168.1.162 n3
3,安装java jdk
rpm -ivh jdk-7u79-linux-x64.rpm
echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment
4,防火墙和selinux
service iptables stop
chkconfig iptables off
vim /etc/selinux/config -> disabled
5,安装配置ntp服务
5.1 安装,yum -y install ntp
5.2 配置 主节点 替换默认的server
server 1.cn.pool.ntp.org prefer
server 127.127.1.0
fludge 127.127.1.0 stratum 10
从节点配置,替换默认的主节点
server n1
5.3 启动 service ntpd start | chkconfig ntpd on
6,安装mysql connector
yum -y install mysql-connector-java.noarch
7,准备scm账户
useradd --system --home=/opt/cm-5.3.9/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
配置n1(额外):
1,ssh登陆
1.1 n1产生公钥
ssh-keygen -t rsa
1.2 把公钥添加到认证文件中
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
1.3 设置文件权限
chmod 600 ~/.ssh/authorized_keys
1.4 拷贝认证文件到所有datanode(n2,n3)节点
scp ~/.ssh/authorized_keys root@n2:~/.ssh/
1.5 测试是否可以无密码登录
ssh n2 | ssh n3
2, 安装mysql
2.1 安装 mysql
yum install mysql-server | service mysqld start |chkconfig mysqld on
2.2 设置root密码
mysqladmin -u root password 'mysql'
2.3 准备数据库
mysql -uroot -p
创建两个数据库hive,activity monitor
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
授权访问:
grant all privileges on *.* to 'root'@'n1' identified by 'root' with grant option;
flush privileges;
3,ntp
已经配置,查看状态:ntpstat
手动同步ntp,节点n2,n3: ntpdate -u n1
部署,在n1节点操作:
1,将部署文件cloudera-manager-el6-cm5.3.9_x86_64.tar.gz放到/opt下
tar -xzvf cloudera-manager-el6-cm5.3.9_x86_64.tar.gz
2,准备parcels
cd /opt/cloudera/parcel-repo/
将CDH-5.3.9-1.cdh5.3.9.p0.8-el6.parcel CDH-5.3.9-1.cdh5.3.9.p0.8-el6.parcel.sha manifest.json
三个文件放到此目录
3, 修改agent配置
vim /opt/cm-5.3.9/etc/cloudera-scm-agent/config.ini
server_host=n1
4. 拷贝agent到各datanode节点(n2-n3)
scp -r /opt/cm-5.3.9 root@n2:/opt/
5. 初始化数据库
/opt/cm-5.3.9/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pchina --scm-host localhost scm scm scm
安装:
1. 在namenode启动server和agent(主节点也是要做到集群中的, 所以主节点也要开启Agent)
/opt/cm-5.3.9/etc/init.d/cloudera-scm-server start
/opt/cm-5.3.9/etc/init.d/cloudera-scm-agent start
2. 在所有datanode启动agent
/opt/cm-5.3.9/etc/init.d/cloudera-scm-agent start
3. 在局域网内访问: http://n1:7180/cmf/login, 如果你是windows可以修改hosts文件后用: http://n1:7180/cmf/login
默认帐号密码:admin,安装使用free版本
注意:有个问题:Cloudera 建议将/proc/sys/vm/swappiness设置为0,当前设置为60
echo 0 > /proc/sys/vm/swappiness 即可解决
查看状态:
端口:netstat -tunlp | grep java
安装之后,登陆:http://n1:7180/cmf/login
参考:http://www.cnblogs.com/modestmt/p/4540818.html