智警杯初赛——搭建环境

开启三台虚拟机

注意一定要全程开启，不要中途关掉

改host名字

三台虚拟机都需要改

• hostnamectl set-hostname master

• hostnamectl set-hostname slave1

• hostnamectl set-hostname slave2

bash 查看改成功没有

 编写network文件

在master中操作即可

vi /etc/sysconfig/network

点击i，进入编辑模式

在最后将，下列内容进行添加

• NETWORKING=yes

• HOSTNAME=master

添加完后，按esc退出编辑模式，按住shift+：输入：wq，保存

之后所有需要添加内容，修改内容的，都要重复以上保存步骤！

下载工具

三台虚拟机都需要操作

• yum install –y net-tools

• bash

编辑host文件

在master中操作

vi /etc/hosts

• 192.168.40.3 （改成自己虚拟机的ip地址）master msater.root

• 192.168.40.4 slave1 slave1.root

• 192.168.40.5 slave2 slave2.root

只在master中输入即可，下面两条指令是通过master传输到slave1和slave2中

• scp /etc/hosts root@slave1:/etc/

• scp /etc/hosts root@slave2:/etc/

关闭防火墙

三台虚拟机中均需要操作

• 关闭防火墙：systemctl stop firewalld

• 查看状态：systemctl status firewalld

改时区

三台虚拟机均进行操作

• tzselect

• 后续会进行选择，选择

• 5亚洲

• 9中国

• 1北京

• 1确定

设置定时服务

三台虚拟机均要操作

• crontab -e

• */10 * * * * usr/sbin/ntpdata master

下载ntp服务

三台虚拟机均需要操作

yum install –y ntp

配置ntp文件

在master上执行

vi /etc/ntp.conf
 
server 127.127.1.0
fudge 127.127.1.0 stratum 10
 
 
scp /etc/ntp.conf   root@slave1:/etc/
scp /etc/ntp.conf   root@slave2:/etc/
 
 
/bin/systemctl restart ntpd.service
 

slave1 slave2中执行

ntpdate master

 配置免密在.SSH下

三台虚拟机都是要

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

 master操作

cd .ssh/cat id_dsa.pub >> authorized_keysssh master exit

 slave1，slave2操作

• cd .ssh/

• scp master:~/.ssh/id_dsa.pub ./master_dsa.pub

• cat master_dsa.pub >> authorized_keys

 最后通过master链接

ssh slave1ssh slave2

安装软件

进入opt 新建文件soft

• cd /opt/

• mkdir soft

 打开软件包 传入文件（拖入即可）

 安装JDK

三个机器都需要

• mkdir -p /usr/java

• tar -zxvf /opt/soft/jdk-8u171-linux-x64.tar.gz -C/usr/java/

配置文件

在master中做

vi /etc/profile
 
 
export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
 
 
scp -r /etc/profile slave1:/etc/profile
scp -r /etc/profile slave2:/etc/profile

生效环境变量

三个都需要生效

• source /etc/profile

• java -version

 ZOOKEEPER

master即可

mkdir  /usr/zookeeper
 
tar -zxvf /opt/soft/zookeeper-3.4.10.tar.gz -C/usr/zookeeper/
 
cd /usr/zookeeper/zookeeper-3.4.10/conf
 
scp zoo_sample.cfg zoo.cfg
 

vi zoo.cfg
 
修改这两个
dataDir=/usr/zookeeper/zookeeper-3.4.10/zkdata
 
dataLogDir=/usr/zookeeper/zookeeper-3.4.10/zkdatalog
 
在最后加上下面的
 
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
 
cd..
 
mkdir zkdata
mkdir zkdatalog
 
 
cd zkdata
vi myid
输入1
scp -r /usr/zookeeper root@slave1:/usr/
scp -r /usr/zookeeper root@slave2:/usr/
 
slave1  slave2里面操作
 
cd /usr/zookeeper/zookeeper-3.4.10/zkdata
vi myid
 
slave1改为2
slave2改为3
 
/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh start   
/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh status
 

hadoop

mkdir –p /usr/hadoop
tar -zxvf /opt/soft/hadoop-2.7.3.tar.gz -C /usr/hadoop/
 
 
vi /etc/profile
 
 
#HADOOP
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin
 
 
scp -r /etc/profile slave1:/etc/profile
scp -r /etc/profile slave2:/etc/profile
 
 在三个虚拟机中都需要
source /etc/profile

• cd /usr/hadoop/hadoop-2.7.3/etc/hadoop/

• vi hadoop-env.sh

• export JAVA_HOME=/usr/java/jdk1.8.0_171

  四个配置文件

认真复制，不要复制错了

在master中进行

vi core-site.xml
 
在两个
<configuration>
</configuration>
中间加入
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>fs.checkpoint.period</name>
<value>60</value>
</property>
<property>
<name>fs.checkpoint.size</name>
<value>67108864</value>
</property>
 

 vi yarn-site.xml
 
 
 
 
<property>
 
<name>yarn.resourcemanager.address</name>
 
<value>master:18040</value>
 
</property>
<property>
 
<name>yarn.resourcemanager.scheduler.address</name>
 
<value>master:18030</value>
 
</property>
<property>
 
<name>yarn.resourcemanager.webapp.address</name>
 
<value>master:18088</value>
 
</property>
<property>
 
<name>yarn.resourcemanager.resource-tracker.address</name>
 
<value>master:18025</value>
 
</property>
<property>
 
<name>yarn.resourcemanager.admin.address</name>
 
<value>master:18141</value>
 
</property>
<property>
 
<name>yarn.nodemanager.aux-services</name>
 
<value>mapreduce_shuffle</value>
 
</property>
 
<property>
 
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
 
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
 
</property>
 

 vi hdfs-site.xml
 
<property>
 
<name>dfs.replication</name>
 
<value>2</value>
 
</property>
<property>
 
<name>dfs.namenode.name.dir</name>
 
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
 
<final>ture</final>
</property>
<property>
 
<name>dfs.datanode.data.dir</name>
 
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
<final>ture</final>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
 
<value>master:9001</value>
 
</property>
 
<property>
 
<name>dfs.webhdfs.enabled</name>
 
<value>true</value>
 
</property>
<property>
 
<name>dfs.permissions</name>
 
<value>false</value>
 
</property>
 

 

• vi mapred-site.xml

• <configuration>

• <property>

• <name>mapreduce.framework.name</name>

• <value>yarn</value>

• </property>

• </configuration>

 修改slave

在master中

• vi slaves

• slave1

• slave2

• vi master

• scp -r /usr/hadoop root@slave1:/usr/

• scp -r /usr/hadoop root@slave2:/usr/

在三台虚拟机中都输入

• hadoop namenode -format

• 出现0 才正确

 在master中

/usr/hadoop/hadoop-2.7.3/sbin/start-all.sh

 在火狐浏览器中

访问 ip（master）：50070

 

在master中

查看状态

jps

出现5个

即为正确

 hbase

在master中进行

mkdir -p /usr/hbase
 
tar -zxvf /opt/soft/hbase-1.2.4-bin.tar.gz -C/usr/hbase/
 
cd /usr/hbase/hbase-1.2.4/conf/
 
 
vi /etc/profile
 
#hbase
export HBASE_HOME=/usr/hbase/hbase-1.2.4
export PATH=$PATH:$HBASE_HOME/bin
PATH=$PATH:$ZOOKEEPER_HOME/bin
 
scp -r /etc/profile slave1:/etc/profile
scp -r /etc/profile slave2:/etc/profile
 
 在三台机器中进行
source /etc/profile
 

 在master中

 vi hbase-site.xml
 
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>master:2181,slave1:2181,slave2:2181</value>
    </property>
    <property>
        <name>hbase.coprocessor.master.classes</name>
        <value>org.apache.hadoop.hbase.security.access.AccessController</value>
    </property>
    <property>
        <name>hbase.coprocessor.region.classes</name>
        <value>org.apache.hadoop.hbase.security.token.TokenProvider,org.apache.hadoop.hbase.security.access.AccessController,org.apache.hadoop.hbase.security.access.SecureBulkLoadEndpoint</value>
    </property>
 

 在master中

 vi hbase-env.sh
 
export HBASE_MANAGES_ZK=false
export JAVA_HOME=/usr/java/jdk1.8.0_171
export HBASE_CLASSPATH=/usr/hadoop/hadoop-2.7.3/etc/hadoop

 在master中

 

vi regionserversmasterslave1slave2

 在master中

• scp -r /usr/hbase/hbase-1.2.4 slave1:/usr/hbase/

• scp -r /usr/hbase/hbase-1.2.4 slave2:/usr/hbase/

 在master中

 

start-hbase.sh