1.9CDH搭建Hadoop集群（一）

总目录：https://blog.csdn.net/qq_41106844/article/details/105553392

Hadoop - 子目录：https://blog.csdn.net/qq_41106844/article/details/105553369

 

Cloudera+CDP简介

虚拟机准备

主机名	IP	角色	内存	核数	磁盘
hadoop01	192.168.10.201	Master	16G	2	60G
hadoop02	192.168.10.202	Slave	8G	2	60G
hadoop03	192.168.10.203	Slave	8G	2	60G

环境配置

网络配置

ifcfg-ens33

 

ifcfg-ens33

其他几个也是这样配置。

hostname

[root@ambari ~] cat /etc/hostname
hadoop01

修改主机名。

network

[root@ambari ~] cat /etc/sysconfig/network
# Created by anaconda
NETWORKING=yes
HOSTNAME=hadoop01

配置主机名与网络状态的关系。

hosts

[root@ambari ~] cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.201 hadoop01
192.168.10.202 hadoop02
192.168.10.203 hadoop03

ip与主机名映射表。

关闭防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service

服务配置

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

关闭SELinux

vim /etc/selinux/config
修改SELINUX=disabled

ssh免密登录

生成密钥

ssh-keygen -t rsa -f ~/.ssh/id_rsa

传输密钥

ssh-copy-id hadoop01
ssh-copy-id hadoop02
ssh-copy-id hadoop03

三台互传

jdk环境

首先创建放软件的文件夹。

cd /usr
mkdir hdk

然后上传安装包，解压

[root@ambari hdk] tar -zxvf jdk-1.8.tar.gz 
[root@ambari hdk] ll
总用量 155296
drwxr-xr-x. 8   10  143       255 6月  17 2014 jdk1.8.0_11
-rw-r--r--. 1 root root 159019376 4月   3 15:16 jdk-1.8.tar.gz
[root@ambari hdk] rm jdk-1.8.tar.gz 
rm：是否删除普通文件 "jdk-1.8.tar.gz"？y
[root@ambari hdk] mv jdk1.8.0_11/ jdk8
[root@ambari hdk] ll
总用量 0
drwxr-xr-x. 8 10 143 255 6月  17 2014 jdk8

配置环境变量

vi /etc/profile

# jdk8
export JAVA_HOME=/usr/hdk/jdk8
PATH=$JAVA_HOME/bin:$PATH

export PATH

刷新环境变量

[root@ambari hdk] source /etc/profile
[root@ambari hdk] java -version
java version "1.8.0_11"
Java(TM) SE Runtime Environment (build 1.8.0_11-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.11-b03, mixed mode)

把环境变量文件和jdk8目录传到其他节点上。

scp /etc/profile root@hadoop01:/etc
scp /etc/profile root@hadoop02:/etc
scp /etc/profile root@hadoop03:/etc

scp -r jdk8/ root@hadoop01:/usr/hdk
scp -r jdk8/ root@hadoop02:/usr/hdk
scp -r jdk8/ root@hadoop03:/usr/hdk

然后各自刷新环境变量。
这样三个节点的java环境就ok了。

mysql5.6

先检查是否已经安装了MySQL。

rpm -qa | grep mysql

返回空就是没有安装。

然后卸载mariadb数据库，因为在centos7中默认集成mariadb数据库。

rpm -qa|grep mariadb|xargs rpm -e --nodeps

检查是否卸掉

rpm -qa|grep -i mariadb

接着正式安装mysql5.6

下载

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm

安装

rpm -ivh mysql-community-release-el7-5.noarch.rpm

yum install mysql-server

设置服务

systemctl start mysqld.service #启动 mysql
systemctl restart mysqld.service #重启 mysql
systemctl stop mysqld.service #停止 mysql
systemctl enable mysqld.service #设置 mysql 开机启动

设置密码

mysql -u root

mysql> use mysql;
mysql> update user set password=PASSWORD("123456") where User='root';
mysql> flush privileges; 

设置远程访问

mysql> use mysql
mysql> select User, Host, Password from user;

mysql> update user set host='%' where host='localhost';
mysql> delete from user where Host='ambari.gey.com';
mysql> delete from user where Host='127.0.0.1';
mysql> delete from user where Host='::1';

mysql> flush privileges;

预建立一些库

// 集群监控数据库
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
// hive数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

注意事项：

如果ifconfig命令不能用

yum install net-tools -y

如果wget命令不能用

yum install wget -y

如果使用wget命令时报错无法解析主机地址。

echo 'nameserver 223.5.5.5
nameserver 223.6.6.6'  > /etc/resolv.conf