十八:Centos7.4离线安装CDH5.14环境准备-阿里云

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weizhonggui/article/details/86807555

一:核心软件包下载:

CDH安装需要两类软件包:依据自己的系统匹配对应的CDH版本:
两类文件包:
1.repo-as-tarball cm管理(server agent 闭源)
http://archive.cloudera.com/cm5/repo-as-tarball/5.14.0/

http://archive.cloudera.com/cm5/repo-as-tarball/5.14.0/cm5.14.0-centos7.tar.gz

2.parcels (压缩存储格式 cloudera 专门的 hadoop zk hive spark1.6)
http://archive.cloudera.com/cdh5/parcels/5.14.0/

http://archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel
http://archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1 检验文件
http://archive.cloudera.com/cdh5/parcels/5.14.0/manifest.json 包含相关配套信息

由于两个文件比较大,差不多3个G,在Centos上线安装个网页下载工具,直接下载到阿里云上,否则下载到自己电脑上在上传上去花费时间较多:
yum install lynx
lynx http://XXX
wget http://XXX也可以

二:准备工作:系统环境搭建:root账号

如果能用root用户安装,是最好了,如果没有,新建立一个hadoop用户,拥有sudo权限:

adduser hadoop
passwd hadoop
vi /etc/sudoers或者visudo

比照原用户添加新用户权限
#Allow root to run any commands anywhere

2.1:设置主机名:

更改每台机器名称,便于维护管理:

vi /etc/sysconfig/network
vi /etc/hosts
cat /etc/hosts

在这里插入图片描述
在这里插入图片描述

2.2:SSH多机共享:

在主节点上/root/下,相关秘钥配置,并进行验证如下:

ssh-keygen
scp id_rsa.pub root@hadoop001:/root/.ssh/id_rsa.pub2/3
cat id_rsa.pub(23) >>authorized_keys
scp authorized_keys root@hadoop002:/root/.ssh/
chmod  600 /root/.ssh/authorized_keys
chmod 700 -R  /home/hadoop/.ssh

ssh hadoop001 date && ssh hadoop002 date && ssh hadoop003 date

在这里插入图片描述

2.3:关闭防火墙:

1 关闭防火墙
执行命令 service iptables stop
验证: service iptables status
2 关闭防火墙的自动运行
执行命令 chkconfig iptables off
验证: chkconfig --list | grep iptables
$>vi /etc/selinux/config
SELINUX=disabled
清空防火墙策略:
iptables -L 查看一下规则 是否还在
iptables -F 清空

2.4:安装Oracle的Java:

在此/usr/java/目录下安装Java:
并vi /etc/profile 增加内容如下
export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=.:JAVAHOME/bin:JAVA_HOME/bin:PATH

2.5:安装配置MySql(主节点)

[root@hadoop001 software]# clear
[root@hadoop001 software]# mysql -uroot -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 1392
Server version: 8.0.13 MySQL Community Server - GPL

Copyright © 2000, 2018, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type ‘help;’ or ‘\h’ for help. Type ‘\c’ to clear the current input statement.

mysql>

2.6:检查python:

坑有点多,严格按照这个来:建议:
centos6.x python2.6.x
centos7.x python2.7.x

Python 2.7.5 (default, Aug 4 2017, 00:39:18)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-16)] on linux2
Type “help”, “copyright”, “credits” or “license” for more information.

2.7:时区+时钟同步:

阿里云主机已经做好,无需关注:
在这里插入图片描述

2.8:关闭大页面:

可参考http://blog.51cto.com/8026776/2074544

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag'>>  /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled'>>  /etc/rc.local

2.9:swap 物理磁盘空间 作为内存:最大不要超过16G

echo ‘vm.swappiness = 10’ >> /etc/sysctl.conf
sysctl -p 生效

swap=0-100
0不代表禁用 而是惰性最高
100表示 使用积极性最高

集群计算对实时性 要求高的 swap=0 允许job挂 迅速的加内存或调大参数 重启job
集群计算对实时性 要求不高的 swap=10/30 不允许job挂 慢慢的运行

展开阅读全文

没有更多推荐了,返回首页