CDH的安装详细步骤

最新推荐文章于 2024-06-12 18:02:46 发布

置顶

_JohnnyChu

最新推荐文章于 2024-06-12 18:02:46 发布

阅读量6.8k

点赞数 10

分类专栏：软件安装部署文章标签： CDH安装大数据集群搭建 Hadoop集群搭建

本文链接：https://blog.csdn.net/johnnychu/article/details/100876543

版权

前言

该文是本人自己在搭建大数据集群的时候，网上找了各种安装教程资料，最后发现在安装过程中会遇到各种棘手的问题，报各种错误，最后在各种查找报错原因的情况下总结得到了搭建集群行之有效的详细安装方法，针对易配置错的地方，有红色标准，应该引以为意，不可马虎。学习的小伙伴可以作为参考，大神轻喷！

废话少说，上来就是干！

第1章配置环境

1.1.准备阶段

1.1.1.服务器

至少准备三台服务器

IP地址	机器名
192.168.80.239	n1
192.168.80.192	n2
192.168.80.190	n3

1.1.2.操作系统

（1）centos7

http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD 1708.iso

（2）若在虚拟机内安装centos7，下载VMware-workstation软件

1.1.3.Oracle jdk8u131

1.1.4.Mysql数据库

1.1.5.数据库驱动包

1.1.6. Cloudera大数据相关软件包

（1）Cloudera Manager5.13.0

（2）CDH5.13.0

1.2.安装配置

1.2.1.安装操作系统

（1）光盘安装，直接下一步就好（后续操作全部使用root用户）

（2）U盘安装，某些主办无法识别U盘名称，在制作U盘为启动盘的时候盘符名称会超出规定字符数不现实造成的，故手动指向U盘的挂载目录

（3）虚拟机的话更灵活，直接选择centos操作系统加载就可以，配置网络的时候选择桥接模式

1.2.2.配置操作系统

（1）设置主机名称（n1为主namenode，n2-n3为datanode） (root身份 )（所有节点）

＃vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=n1

＃source /etc/sysconfig/network

通过 service network restart 重启网络服务生效。

（2）设置IP和机器名的映射关系（所有节点）

＃vi /etc/hosts

192.168.80.239 n1

192.168.80.192 n2

192.168.80.190 n3

（3）设置网络（所有节点）

＃vi /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE="Ethernet"

PROXY_METHOD="none"

BROWSER_ONLY="no"

BOOTPROTO="static"

DEFROUTE="yes"

IPV4_FAILURE_FATAL="no"

IPV6INIT="yes"

IPV6_AUTOCONF="yes"

IPV6_DEFROUTE="yes"

IPV6_FAILURE_FATAL="no"

IPV6_ADDR_GEN_MODE="stable-privacy"

NAME="ens33"

UUID="a278b039-9450-40e3-bbfc-be31b1d35e21"

DEVICE="ens33"

ONBOOT="yes"

GATEWAY="192.168.80.1"

IPADDR="192.168.80.239"

NETMASK="255.255.255.0"

DNS1="8.8.8.8"

DNS2="8.8.4.4"

注意：不是所有的机器都是配置“ifcfg-ens33”这个文件，到/etc/sysconfig/network-scripts/目录下可以看以ifcfg-ens开头的文件

UUID不要改动

（4）重新启动网络，并且测试网络联通情况（三台机器配置基本相同，在此只以n1配置为例）（所有节点）

＃/etc/init.d/network restart

验证：

＃ping n1

＃ping www.baidu.com

（5）设置防火墙（所有节点）

关闭防火墙

＃systemctl stop firewalld.service

开机不启动

＃systemctl disable firewalld.service

查看状态

＃firewall-cmd --state

（6）关闭SELINUX （所有节点）

＃vi /etc/selinux/config

SELINUX=disabled

（7）安装更新部分linux软件包（逐个安装，不要一起拷贝）（所有节点）

＃yum install -y chkconfig

＃yum install -y python

＃yum install -y bind-utils

＃yum install -y psmisc

＃yum install -y libxslt

＃yum install -y zlib

＃yum install -y sqlite

＃yum install -y cyrus-sasl-gssapi

＃yum install -y fuse

＃yum install -y portmap

＃yum install -y fuse-libs

＃yum install -y redhat-lsb

＃yum install -y iw

＃yum install -y net-tools

＃yum install -y perl perl-devel autoconf libaio

＃yum install -y python-lxml

＃yum install -y python-psycopg2

＃yum install -y mod_ssl

＃yum install -y httpd

＃yum install -y MySQL-python

＃yum install kr

最低0.47元/天解锁文章