大数据平台搭建

systemctl status firewalld

查看防火强的状态

systemctl disable firewalld.service

永久关闭防火墙服务

1.修改主机名，注意reboot重启虚机才能生效

vi  /etc/hostname

第一台机子就写

10.32.97.99 zsm1

第二台机子写

10.32.97.100 zsm2

第三台写

10.32.97.101 zsm3

2.修改主机名映射，把主机名和ip——对应

三个地址都写，三台都要改

vi /etc/hosts

10.32.97.99 zsm1

10.32.97.100 zsm2

10.32.97.101 zsm3

互相ping一下主机名，验证是否可以ping通

3.(考试不需要)修改电脑主机映射，**找到C:\Windows\System32\drivers\etc下的hosts这个文件

10.32.97.99 zsm1

10.32.97.100 zsm2

10.32.97.101 zsm3

4.安装jdk

解压jdk

tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/src

-C是复制命令

cd /usr/local/src

ls 查看是否解压成功

改名：

mv jdk1.8.0_191 jdk

cd /etc/profile.d/

vi my_env.sh 

在文件种添加入选内容：

export JAVA_HOME=/usr/local/src/jdk

export PATH=$PATH:$JAVA_HOME/bin

让环境变量生效

source /etc/profile

验证java环境是否安装成功

java -version

通过免密登录发送文件给其他虚机

scp -r /usr/local/src/jdk/ zsm2:/usr/local/src/

scp -r /usr/local/src/jdk/ zsm3:/usr/local/src/

安装zookeeper

cd ~

1.解压：tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local/src/

2.改名：mv zookeeper-3.4.5 zookeeper

3.进入 

cd /usr/local/src/zookeeper/conf/zoo_sample.cfg

mv zoo__sample.cfg zoo.cfg

clientPort=2181 配置客户端访问端口，注意默认已有，不需要自己添加

dataDir=/var/bigdata/zookeeper  注意：这个路径默认也有，记得注释掉(写完之后可以看一下)

DataLogDir=/var/bigdata/zookeeper/log 主要存放zookeeper的启动或运行日志，帮助我们定位错误

server.1=zsm1:2888:3888 

server.2=zsm2:2888:3888 

server.3=zsm3:2888:3888

4.进到

cd ~

cd /var/bigdata/zookeeper

创建myid，vi就直接创建了

vi myid

三台机子分别编辑写1，2，3

5.分发

scp -r /src/local/src/zookeeper zsm2:/usr/local/src

scp -r /src/local/src/zookeeper zsm3:/usr/local/src

cd /etc/profile.d

vi my_env.sh

export ZOOKEEPER_HOME=/usr/local/src/zookeeper

export PATH=$PATH:$ZOOKEEPER_HOME/bin

scp my_env.sh zsm2:/etc/profile.d/

scp my_env.sh zsm2:/etc/profile.d/

source /etc/profile

7.启动查看状态，关闭zookeeper的指令

zkServer.sh start 

zkServer.sh status 

zkServer.sh stop 

hadoop3版本

cd ~

tar -zxvf hadoop-3.1.4.tar.gz -C /usr/local/src

mv zoo__sample.cfg zoo.cfg

cd /usr/local/src/hadoop/etc/hadoop

vi hadoop-env.sh

export JAVA_HOME=/usr/local/src/jdk

进入

vi /usr/local/src/hadoop/etc/hadoop/core-site.xml 

<property>
<name>fs.defaultFS</name>
<value>hdfs://zsm1:8020</value>
</property>

进入hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/var/bigdata/hadoop1/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/var/bigdata/hadoop1/dfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>zsm1:9868</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>/var/bigdata/hadoop1/dfs/secondary</value>
</property>

进入

 vi etc/hadoop/workers 

zsm1

zsm2

zsm3

vi hadoop/sbin/start-dfs.sh/stop-dfs.sh(两个都写）

HDFS_DATANODE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HADOOP_SHELL_EXECNAME=root

vi /etc/profile.d/my_env.sh

export HADOOP_HOME=/usr/local/src/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

分发：

scp -r /usr/local/src/hadoop/ zsm2:/usr/local/src/

scp -r /usr/local/src/hadoop/ zsm3:/usr/local/src/

scp /etc/profile.d/my_env.sh zsm2:/etc/profile.d/

scp /etc/profile.d/my_env.sh zsm3:/etc/profile.d/

source /etc/profile

格式化namenode，在有namenode的机子上

cd /hadoop/bin

hdfs namenode -format

start-dfs.sh

start-dfs.sh

start-dfs.sh 启动 sbin目录下

stop-dfs.sh

关闭

yarn搭建

cd /usr/local/src/hadoop/etc/hadoop 

vi mapred-site

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

vi yarn-site.xml

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>zsm1</value>
 </property>

若报内存不够

在yarn-site.xml里添加

<property>

<name>yarn.nodemanager.pmem-check-enabled</name>

<value>false</value>

</property>

<property>

<name>yarn.nodemanager.vmem-check-enabled</name>

<value> false</value>

</property>

vi sbin/start-yarn.sh

YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
HDFS_ZKFC_USER=root
HDFS_JOURNALNODE_USER=root

scp -r /usr/local/src/hadoop/ zsm2:/usr/local/src/

scp -r /usr/local/src/hadoop/ zsm3:/usr/local/src/

启动：

start-yarn.sh

stop-yarb.sh

若少resouremanager

手动启动

scp -r /usr/local/src/hadoop/ zsm2:/usr/local/src/

全起

zkServer.sh start

start-all.sh

kafka搭建

tar -zxvf kafka的jar包 -C /usr/local/src

更改配置

cd /usr/local/src/kafka/config/server.properties

​

log.dirs=/var/bigdata/kafka

zookeeper.connect=zsm1:2181,zsm2:2181,zsm3:2181

num.partitions=2

listeners=PLAINTEXT://zsm1:9092 

broker.id=1 //不同的机子id不一样，按照顺序来

offsets.topic.replication.factor=2

​

3.分发给另外两台机子

scp -r /usr/local/src/kafka/ zsm2:/usr/local/src/

scp -r /usr/local/src/kafka/ zsm3:/usr/local/src/

注意：分发完要去另外机子的配置server.properties文件中,修改配置

broker.id=2

listeners=PLAINTEXT://zsm2:9092

broker.id=3

listeners=PLAINTEXT://zsm3:9092

4.更改环境变量

cd /etc/profile.d

vi my_env.sh

export KAFKA_HOME=/usr/local/src/kafka

export PATH=$PATH:$KAFKA_HOME/bin

5.启动kafka，启动前先启动zookeeper

zkServer.sh start

kafka-server-start.sh   -daemon  server.properties

mysql安装配置

tar -zxvf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar -C /usr/local/src

rpm -qa |grep mariadb  查看版本

rpm -e mariadb-libs-5.5.68-1.el7.x86_64 --nodeps  根据自己的版本号自行修改 mariadb-libs-5.5.68-1.el7.x86_64

（这一步可写可不写）

yum -y install net-tools

yum -y install perl

yum -y install libaio

rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm

rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm

rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm

1.开启 MySQL 服务。

systemctl start mysqld

2. 查看 MySQL 服务状态。

systemctl status mysqld

3. 查看 MySQL 初始密码。

grep 'temporary password' /var/log/mysqld.log

4. 登录 MySQL ，回车后输入查看到的初始密码。

mysql -u root -p      复制初始密码  进入mysql

5. 先修改 MySQL 的密码设置规则。(进入mysql后再写)

set global validate_password_policy =LOW ;

set global validate_password_length = 4 ;

set global validate_password_mixed_case_count = 0 ;

set global validate_password_number_count = 0 ;

set global validate_password_special_char_count = 0 ;

6. 再重置密码，将密码设置为纯数字密码。

alter user root @localhost identified by '123456' ;

 

刷新权限

flush privileges

7. 设置 MySQL 远程访问授权。

grant all privileges on * . * to 'root' @'%' identified by '123456' with grant

option ;