部署大数据集群要先进行哪些操作？

Linux集群部署

1. 在虚拟机中实例三个虚拟机主机，三个虚拟主机需要配置IP，且两两之间可以ping通

2. 关闭防火墙（需要在所有的主机中进行设置）
   ​ /etc/init.d/iptables stop
   ​ chkconfig iptables off

3. 关闭selinux （需要在所有的主机中进行设置）
   ​ 编辑文件 vi /etc/selinux/config
   ​ 将SELINUX=enforcing改成 SELINUX=disabled

4. 设置所有主机的名称
   ​ vi /etc/sysconfig/network
   ​ HOSTNAME=node01

5. 配置主机名与IP的对应关系
   ​ vi /etc/hosts
   ​ 添加如下内容

   node01IP地址         node01
   node02IP地址         node02
   node03IP地址         node03
   

配置多节点无密码登录

​ 目标：在node01节点 无密码登录到node01,node02和node03上

1. 在node01节点生成node02的公钥个私钥
   ​ ssh-keygen + 三个回车

2. 免密登录node01 ssh-copy-id node01 (需要输入node01的密码)
   ​免密登录node02 ssh-copy-id node02 (需要输入node02的密码)
   ​免密登录node03 ssh-copy-id node03 (需要输入node03的密码)

​ authorized_keys ： 表示哪些节点可以使用相应的密钥免密登录到本机（实际上是公钥的集合）
​ id_rsa ： 当前节点的私钥
​ id_rsa.pub : 当前节点的公钥

定时任务

​ 命令： crontab -e/编辑 -l /查看

​ * * * * * 操作命令

*一小时内的第一分钟（0-59）

​ * 一天内的第一个小时（0-23）

​ * 一个月内的第几天（1-31）

​ * 一年内第几个月（1-12）

​ * 星期几（0-7）

可用于自动同步内网的各个机器时间

时钟同步

​ 与阿里云提供的时钟服务器同步： ntpdate ntp4.aliyun.com

跟内网某台机器同步时间

​ 先确定时间同步服务器： node01 (node02 node03 都去node01同步时间)

​ 服务器设置

​ 1、确保时间服务器的ntpd服务是开启的

​ 2、修改第一个配置文件

​ vi /etc/ntp.conf

​ 添加如下内容
​ restrict 192.168.100.0 mask 255.255.255.0 nomodify notrap

​ server 127.127.1.0 # localclock

​ fudge 127.127.1.0 stratum 10

​ 注释掉如下内容

​ #server0.centos.pool.ntp.org
​ #server1.centos.pool.ntp.org
​ #server2.centos.pool.ntp.org
​ #server3.centos.pool.ntp.org

​ 3、修改第二个配置文件

​ vi /etc/sysconfig/ntpd

​ 添加如下内容

​ SYNC_HWLOCK=yes

​ 4、重启ntpd

​ service ntpd restart

​ 5 、在node02 node03节点上执行同步

​ ntpdate node01

远程拷贝：

​ scp /etc/hosts node03:/etc/

​ scp /etc/hosts root@node03:/etc/

JDK安装步骤

​ 1、上传解压 JDK安装包

​ mkdir -p /export/soft

​ mkdir -p /export/install

​ 2、创建java的配置文件

​ 在/etc/profile.d目录内创建java.sh文件，编辑一下内容
​ export JAVA_HOME=/export/install/jdk1.8.0_144 （java 解压后的路径）
​ export PATH=$PATH:$JAVA_HOME/bin （$PATH:加上 JAVA_HOME/bin）

​ 3、source

​ source /etc/profile

​ 4、验证是否安装成功

​ jps (查看java 此时的进程)

​ [root@node01 install]# jps
​ -bash: jps: command not found （没有安装成功）

​ [root@node01 install]# jps （安装成功）
​ 29601 Jps

​ 5、确定版本
​ java -version

​ [root@node01 install]# java -version
​ java version “1.7.0_131”

​ 更新软链接

​ 删除： rm -rf /etc/alternatives/java

​ 创建： ln -s /export/install/jdk1.8.0_144/bin/java /etc/alternatives/java

​ 6、再次确认

​ [root@node01 install]# java -version
​ java version “1.8.0_144”

tomcat安装部署

​ 1、上传安装文件并解压

​ tar -zxvf apache-tomcat-7.0.82.tar.gz -C /export/install/

​ 2、启动

​ 进入tomcat的安装目录下有个bin。进入bin，执行启动

​ ./startup.sh

​ 说明：tomcat 所有的日志均打入到了安装目录下的logs文件中的catalina.out

​ web项目(war包格式)部署的路径是安装路径下的webapps

mysql的安装部署

​ 1、确认当前系统是否已经安装mysql

​ rpm -qa | grep mysql

​ 本地原或者网络源必须存在，并且有效

​ 2、安装mysql

​ yum install -y mysql-server

​ 3、查看mysql当前状态

​ /etc/init.d/mysqld status 或者 service mysqld status （status 状态 start 启动 stop 停止 restart 重启）

​ 4、启动mysql

​ /etc/init.d/mysqld start 或者 service mysqld start

​

进入mysql shell窗口

​ 1、直接mysql + 回车

​ 2、mysql -u用户名 -p密码 (中间没有空格)

为root用户设置密码

​ mysqladmin -u root password 密码（有特殊字符需要加单引号）

修改mysql 乱码问题

​ 1、进入mysql shell窗口

​ 2、查看当前编码格式吗

​ 命令：show variables like ‘character_set_%’;

mysql> show variables like ‘character_set_%’;
±-------------------------±---------------------------+
| Variable_name | Value |
±-------------------------±---------------------------+
| character_set_client | latin1 |
| character_set_connection | latin1 |
| character_set_database | latin1 |
| character_set_filesystem | binary |
| character_set_results | latin1 |
| character_set_server | latin1 |
| character_set_system | utf8 |
| character_sets_dir | /usr/share/mysql/charsets/ |
±-------------------------±---------------------------+

​ 3、修改mysql的 配置文件

​ vim /etc/my.cnf 添加如下配置 保存退出
​ [client]
​ default-character-set=utf8

​ [mysql]
​ default-character-set=utf8

​ [mysqld]
​ character-set-server=utf8

​ 4、重启mysql

​ service mysqld restart

​ 5、二次确认

​ 进入mysql shell窗口,执行查询

mysql> show variables like ‘character_set_%’;
±-------------------------±---------------------------+
| Variable_name | Value |
±-------------------------±---------------------------+
| character_set_client | utf8 |
| character_set_connection | utf8 |
| character_set_database | utf8 |
| character_set_filesystem | binary |
| character_set_results | utf8 |
| character_set_server | utf8 |
| character_set_system | utf8 |
| character_sets_dir | /usr/share/mysql/charsets/ |
±-------------------------±---------------------------+

mysql远程连接配置

​ 1、查看当前mysql 允许哪些主机连接

​ 进入mysqlshell ,查看mysql数据库的user表信息

​ select host, user ,password from user;

mysql> select host, user ,password from user;
±----------±-----±------------------------------------------+
| host | user | password |
±----------±-----±------------------------------------------+
| localhost | root | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |
| node01 | root | |
| 127.0.0.1 | root | |
| localhost | | |
| node01 | | |
±----------±-----±------------------------------------------+

host ：允许访问的主机

user : 主机使用的用户

password : 允许用户使用的密码

2、添加权限，让任何主机使用rootu用户 123456密码，都能访问本mysql

​ grant all privileges on . to ‘root’@’%’ identified by ‘123456’ with grant option;

3、刷新权限

​ flush privileges;

4、二次确认

mysql> select host, user ,password from user; ±----------±-----±------------------------------------------+
| host | user | password |
±----------±-----±------------------------------------------+
| localhost | root | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |
| node01 | root | |
| 127.0.0.1 | root | |
| localhost | | |
| node01 | | |
*| % | root | 6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |
±----------±-----±------------------------------------------+

5、关闭linux 防火墙

​ service iptables stop

​ 设置防火墙开机不自动启动

​ chkconfig iptables off

​ 设置防火墙开机自动启动

​ chkconfig iptables on