大数据集群部署

大数据环境搭建步骤

一、网络设置

1.在配置静态网络时先打开VMware里的编辑查看子网、子网掩码、网关、起始IP地址、结束IP地址

2.使用命令：vim /etc/sysconfig/network-scripts/ifcfg-ens33 进行配置

<1>ONBOOT=no改为yes
<2>BOOTPROTO=dhcp改为static
<3>静态IP地址：IPADDR=
<4>子网掩码：NETMASK=255.255.255.0
<5>网关地址：GATEWAY=
<6>域名解析的地址：DNS1=114.114.114.114
更改完后重启网卡：systemctl restart network

 

二、防火墙设置

1.查看防火墙状态

systemctl status firewally

2.关闭防火墙 stop替换为start 为开启防火墙

systemctl stop firewalld

3.关闭自动开启防火墙

systemctl distable firewalld

4.关闭selinux 将SELINUX设置为：disabled

vim /etc/selinux/config

 

三、ssh 免密登录

1.三台机器生成公钥和私钥 回车点满

ssh-keygen -t rsa 

2.拷贝公钥到主节点（master）上

ssh-copy-id master

3.复制主节点的认真到其他两台机器上 slave01:是我的从节点

scp -r /roor/.ssh/authorized_keys slave01:/root/.ssh

4 查看免密效果

ssh + 节点名称

 

四、JAVA环境部署

有些版本的liunx会自带jdk安装包需要先删除在安装
命令：rpm -qa | grep java 查看
卸载自带jdk:yum -y remove java*

1.java压缩包解压

 tar -zxvf jdk-8u211-linux-x64.tar.gz -C /usr/local/src

2.压缩包重名

mv jdk1.8.0_211/ jdk

3.环境变量 只针对当前用户生效
vim /root/.bash_pr0file

export JAVA_HOME=/usr/local/src/jdk
export PATH=$PATH:$JAVA_HOME/bin

4.加载环境变量

source /root/.bash_profile

5 查看配置结果

java -version

6 远程java拷贝到其他节点包括环境变量

scp -r /usr/local/src/jdk slave1:/usr/local/src

scp -r /root/.bash_profile slave1:/root/.bash_profile 

 

五、mysql

1.解压缩宝到指定位置

 tar -zxvf mysql-5.6.50-linux-glibc2.12-x86_64.tar.gz -C /usr/local/src

2.创建mysql账号（所属组为mysql）

 useradd -r -s /sbin/nologin mysql

3.更改/usr/local/src/mysql的目录权限 文件所有者为mysql

chown -R mysql.mysql /usr/local/src/mysql

查看更改后的权限

ll /usr/local/src/mysql

4.卸载系统自带mariadb

yum remove mariadb-libs

5.第一次安装mysql需要安装以下插件

yum -y install autoconf

6.初始化：mysql
必须在mysql目录下启动

 /usr/local/src/mysql/scripts/mysql_install_db --user=mysql

查看是否初始化成功:ll /data 如果该目录有多个文件即表示初始化成功

5.移动support-files下的mysql.server脚本到/etc/init.d目录
必须在mysql目录下进行移动

cp support-files/mysql.server

6.配置mysql文件：vim /etc/init.d/mysql

basedir=mysql文件存放路径
datadir=data文件路径
port = 3306

7.启动mysql脚本----提示SUCCESS！表示启动成功

service mysql srart

8.设置密码并登录mysql数据库
设置密码

bin/mysqladmin -u root password '密码';

登录mysql数据库

bin/mysql -u root -p 

 

六、Hadoop环境部署（完全分布式）

1.压缩包解压到指定位置

tar -zxvf hadoop-2.7