【复现】第五届智警杯初赛环境搭建

已于 2023-07-18 13:56:58 修改
阅读量413 收藏 3
点赞数 1
文章标签： linux 大数据 数据分析 database
于 2023-07-18 13:54:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63563528/article/details/131785199
版权

【复现】第五届智警杯初赛环境搭建

退图像化：

systemctl set-default multi-user.target

重启：

reboot

下载工具(-y表示同意)：

yum install -y net-tools

1. 修改主机名(5分)

1. hostnamectl set-hostname master
2. hostnamectl set-hostname slave1
3. hostnamectl set-hostname slave2

2. 修改hosts文件（5分）

vi /etc/hosts

192.168.3.129 master master.root
192.168.3.130 slave1 slave1.root
192.168.3.131 slave2 slave2.root

分发文件给slave：

1. scp /etc/hosts root@slave1:/etc/

2. scp /etc/hosts root@slave2:/etc/

3. 编写network文件（5分）

vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=master

4. 关闭防火墙（5分）

1. systemctl stop firewalld

2. systemctl status firewalld

5. Ntp同步（10分）

下载ntp:（slave1、2也操作）

yum install -y ntp

编辑ntp.conf:

vi /etc/ntp.conf

Server 127.127.1.0
Fudge 127.127.1.0

分发：

1. scp -r /etc/ntp.conf root@slave1:/etc/

2. scp -r /etc/ntp.conf root@slave2:/etc/

启动ntp:（master启动，slave1/2来同步）

/bin/systemctl restart ntpd.service

同步时间外网(slave1,2大约5分钟)：

ntpdate master（slave1/2）

6. 设置定时任务，10分钟同步一此时间（5分）

修改时间（选到北京）：

tzselect

设置定时任务，10分钟同步一此时间：（3者）

crontab -e

写入：

*/10 * * * *  usr/sbin/ntpdata master

7. SSH免密（10分）

（1）三台机子（root目录）：

ssh-keygen -t dsa  -P '' -f  ~/.ssh/id_dsa （三台分别操作）

（2）master端，先进入.ssh目录下：

cd .ssh

cat id_dsa.pub >> authorized_keys

回显自己：

ssh master

退出：

exit

（3）slave1/2端，先进入.ssh目录下：

cd .ssh

1. scp master:~/.ssh/id_dsa.pub ./master_das.pub

2. cat master_das.pub >> authorized_keys

回显自己：

ssh slave1

再退出：

exit

8. 安装Java（10分） + 9. 配置环境变量（5分）

cd

cd /opt/

ls

mkdir soft

解压java：
创建文件：

mkdir -p /usr/java

解压：

tar -zxvf /opt/soft/jdk-8u171-linux-x64.tar.gz -C/usr/java/

配置环境变量(此环境为三个工具的环境)：

vi /etc/profile

下面这些一起写入：

#jdk
export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin/
export PATH JAVA_HOME CLASSPATH

#zookeeper
export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.10
PATH=$PATH:$ZOOKEEPER_HOME/bin


#hadoop
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export CLASSATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin


#hbase
export HBASE_HOME=/usr/hbase/hbase-1.2.4
export PATH=$PATH:$HBASE_HOME/bin

#hive
export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin
export PATH=$PATH:$HIVE_HOME/bin

#scala
export SCALA_HOME=/usr/scala/scala-2.11.12
export PATH=$SCALA_HOME/bin:$PATH

#spark
export SPARK_HOME=/usr/spark/spark-2.4.0-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH

环境资源生效：

source /etc/profile

检测java：

java -version

(出现Open JDK则成功)

分发配置好的环境：

1. scp -r /etc/profile slave1:/etc/profile

2. scp -r /etc/profile slave2:/etc/profile

发送java环境：

1. scp -r /usr/java/ slave2:/usr/java

2. scp -r /usr/java/ slave1:/usr/java

slave1,slave2环境资源生效：

source /etc/profile

10. 安装zookeeper（10分）

安装zookeeper:
创建目录：

mkdir /usr/zookeeper

解压：

tar -zxvf /opt/soft/zookeeper-3.4.10.tar.gz -C/usr/zookeeper/

进入目录：

cd /usr/zookeeper/zookeeper-3.4.10/conf

复制zoo_sample.cfg：

cp zoo_sample.cfg zoo.cfg

编辑zoo.cfg:

vi zoo.cfg

修改：

dataDir=/usr/zookeeper/zookeeper-3.4.10/zkdata
dataLogDir=/usr/zookeeper/zookeeper-3.4.10/zkdatalog

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

退回上一级目录：

cd ..

创建zkdata,zkdatalog:

1. mkdir zkdata
2. mkdir zkdatalog

进入zkdata:

cd zkdata

编辑myid为1:

vi myid

发送zookeeper:

1. scp -r /usr/zookeeper/ slave1:/usr/
2. scp -r /usr/zookeeper/ slave2:/usr/

分别进入slave1/2的zkdata修改myid为2，3：

cd /usr/zookeeper/zookeeper-3.4.10/zkdata

启动查看关闭zookeeper:

1. /usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh start
2. /usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh status
3. /usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh stop

11. 安装Hadoop（10分）

安装hadoop:
创建hadoop文件：

mkdir /usr/hadoop

解压：

tar -zxvf /opt/soft/hadoop-2.7.3.tar.gz -C/usr/hadoop/

进入目录：

cd /usr/hadoop/hadoop-2.7.3/etc/hadoop

文件配置：
一、配置：

vi hadoop-env.sh

写入：

export JAVA_HOME=/usr/java/jdk1.8.0_171

二、配置：

vi core-site.xml

写入：

<property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/src/hadoop-2.7.3/hdfs/tmp</value>
<description>A base of other temporary directories</description>
</property>
<property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
</property>
<property>
        <name>fs.checkpoint.period</name>
        <value>60</value>
</property>
<property>
        <name>fs.checkpoint.size</name>
        <value>67108864</value>
</property>

三、配置：

vi yarn-site.xml

写入：

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<property>
	<name>yarn.resourcemanager.address</name>
	<value>master:18040</value>
</property>
<property>
	<name>yarn.resourcemanager.scheduler.address</name>
	<value>master:18030</value>
</property>
<property>
	<name>yarn.resourcemanager.resource-tracker.address</name>
	<value>master:18025</value>
</property>
<property>
	<name>yarn.resourcemanager.admin.address</name>
	<value>master:18141</value>
</property>
<property>
	<name>yarn.resourcemanager.webapp.address</name>
	<value>master:18088</value>
</property>
<property>
	<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
	<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

四、配置：

 vi hdfs-site.xml

写入：

<property>
	<name>dfs.replication</name>
	<value>2</value>:
</property>
<property>
	<name>dfs.namenode.name.dir</name>
	<value>file:/usr/src/hadoop-2.7.3/hdfs/name</value>
<final>ture</final>
</property>
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>master:9001</value>
</property>
<property>
	<name>dfs.webhdfs.enable</name>
	<value>true</value>
</property>
<property>
	<name>dfs.pemissions</name>
	<value>false</value>
</property>

五、配置：

vi mapred-site.xml

写入：

<configuration>
<property>
	<name>mapreduce.framework</name>
	<value>yarm</value>
</property>
</configuration>

六、修改slaves:

vi slaves

写入：

slave1
slave2

编辑master:

vi master

写入：

master

发送Hadoop:

scp -r /usr/hadoop/ root@slave2:/usr/
scp -r /usr/hadoop/ root@slave1:/usr/

格式化出现0才算成功：

hadoop namenode -format

启动和关闭能访问master:50070：

/usr/hadoop/hadoop-2.7.3/sbin/start-all.sh
/usr/hadoop/hadoop-2.7.3/sbin/stop-all.sh

检查状态：

jps

12. 安装hbase（10分）

创建文件：

mkdir -p /usr/hbase

解压：

tar -zxvf /opt/soft/hbase-1.2.4-bin.tar.gz -C/usr/hbase/

进入对应目录：

cd /usr/hbase/hbase-1.2.4/conf/

设置hbase-site.xml

vi hbase-site.xml

写入：

<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://master:9000/hbase</value>
</property>
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>master:2181,slave1:2181,slave2:2181</value>
</property>
<property>      
	<name>hbase.coprocessor.master.classes</name>    
  	<value>org.apache.hadoop.hbase.security.access.AccessController</value>  
</property>
<property>  
  <name>hbase.coprocessor.region.classes</name>  
  <value>org.apache.hadoop.hbase.security.token.TokenProvider,org.apache.hadoop.hbase.security.access.AccessController,org.apache.hadoop.hbase.security.access.SecureBulkLoadEndpoint</value>  
</property>

修改hbase-env.sh:

vi hbase-env.sh

写入：

export HBASE_MANAGES_ZK=false
export JAVA_HOME=/usr/java/jdk1.8.0_171
export HBASE_CLASSPATH=/usr/hadoop/hadoop-2.7.3/etc/hadoop

修改regionservers：

vi regionservers

写入

master
slave1
slave2

发送hbase:

1. scp -r /usr/hbase/hbase-1.2.4 slave1:/usr/hbase/ 
2. scp -r /usr/hbase/hbase-1.2.4 slave2:/usr/hbase/

启动hbase：

start-hbase.sh

打开hbase shell，进入hbase：

hbase shell

13. 安装hive（10分）

在master端：
创建文件：

mkdir -p /usr/hive

解压：

tar -zxvf /opt/soft/apache-hive-2.1.1-bin.tar.gz -C/usr/hive/

进入对应目录：

cd /usr/hive/apache-hive-2.1.1-bin/conf

配置文件：

cp hive-env.sh.template hive-env.sh

编辑：

vi hive-env.sh

找到对应修改：

# HADOOP_HOME=${bin}/../../hadoop
HADOOP_HOME=/usr/hadoop/hadoop-2.7.3

# export HIVE_CONF_DIR=
export HIVE_CONF_DIR=/usr/hive/apache-hive-2.1.1-bin/conf

# export HIVE_AUX_JARS_PATH=
export HIVE_AUX_JARS_PATH=/usr/hive/apache-hive-2.1.1-bin/lib

发送给slave1：

scp -r /usr/hive root@slave1:/usr/

发送jar文件给slave1:

scp -r /opt/soft/mysql-connector-java-5.1.47-bin.jar root@slave1:/usr/hive/apache-hive-2.1.1-bin/lib

在slave1端：
进入目录：

cd /usr/hive/apache-hive-2.1.1-bin/conf

编辑文件：

vi hive-site.xml

写入：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 	<property>
	<name>hive.metastore.warehouse.dir</name>
	<value>/user/hive/warehouse</value>
	</property>

	<property>
	<name>javax.jdo.option.ConnectionURL</name>
	<value>jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
	</property>
	
	<property>
	<name>javax.jdo.option.ConnectionDriverName</name>
	<value>com.mysql.jdbc.Driver</value>
	</property>

	<property>
	<name>javax.jdo.option.ConnectionUserName</name>
	<value>root</value>
	</property>

	<property>
	<name>javax.jdo.option.ConnectionPassword</name>
	<value>root</value>
	</property>
</configuration>

在master端：
复制文件让jline版本相同：

cp /usr/hive/apache-hive-2.1.1-bin/lib/jline-2.12.jar /usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib/

进入目录：

cd /usr/hive/apache-hive-2.1.1-bin/conf

编辑配置文件：

vi hive-site.xml

写入：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 	<property>
	<name>hive.metastore.warehouse.dir</name>
	<value>/user/hive/warehouse</value>
	</property>

	<property>
	<name>hive.metastore.local</name>
	<value>false</value>
	</property>

	<property>
	<name>hive.metastore.uris</name>
	<value>thrift://slave1:9083</value>
	</property>
</configuration>

在slave1中初始化数据库：

schematool -dbType mysql -initSchema

在slave1启动hive服务：

hive --service metastore &

在master服务端进入hive：

hive

在slave2中进入MYSQL：

mysql -uroot -p

进入hive库：

use hive;

查看数据库：

show databases;

--------------------------------------------------------安装mysql-------------------------------------------------------

----------------------------------本地拖入mysql的repository到root目录安装-----------------------------------------

安装MySQL源：

yum -y install mysql57-community-release-el7-7.noarch.rpm

通过yum安装MySQl：

yum install -y mysql-community-server

启动MySQL：

systemctl start mysqld.service

开机自启动：

systemctl enable mysqld.service

查看默认密码得到密码登录：

grep "password" /var/log/mysqld.log

Lh-q1mk<otA_

进入mysql，输入默认密码:

mysql -uroot -p

更改为弱密码：

set global validate_password_policy=0;

密码最小长度限制改为1：

set global validate_password_length=1;

修改密码为root：

ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';
alter user 'root'@'localhost' identified by 'root';

退出命令：

\q;

开启 mysql 中 root用户远程访问权限：

创建一个root用户：

create user 'root'@'%' identified by 'root';

所以用户都能登录：

grant all privileges on *.* to 'root'@'%' with grant option;

刷新：

flush privileges;
7ig3r
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
强网杯SQL题目复现php.zip
12-17
强网杯 强网杯SQL题目复现php.zip
本地HTTPS环境搭建的完整步骤记录
01-20
最近发现有些 case 需要 https 来复现，比如 Android 5.0 以上的 app 内，使用 https 的网站访问 http 的内容会阻止访问，这种问题测试的时候本地就需要一个 https 的环境。于是花了点时间学习了下本地 https 的搭建...
智警杯题解
weixin_51943950的博客
06-30 1309
智警杯一些脚本
2022.04.27智警杯CIPUC校内选拔赛-MySQL
m0_58875569的博客
04-27 4321
题目要求： 使用SQL进行数据分析 1、 SQL数据分析(28/30分) 考核条件如下： (1) 环境中已经安装mysql5.7，用户名root，密码123456，开启数据库服务 在Linux命令行中输入以下命令： service mysqld start 在做题之前，还需要做一些准备工作，即使用navicat连接竞赛方提供的mysql数据库，并按照题目要求导入数据表并对导入的表进行相关处理。 ①使用navicat连接mysql 配置“常规”： 配置“SSH”： 配置完成..
复盘2022智警杯py部分
m0_69676459的博客
05-12 1646
前段时间打比赛时py题没解出来，心有不甘。 题目是提取csv文件中的信息并输出文件中月份在每一个年份中出现的次数。 数据量非常庞大------>借助py中文件的打开与修改功能试试。 输出正确结果。又弄懂了一道不会的题目。o(*￣▽￣*)ブ ...
杯中的乾坤
09-02
杯中的乾坤
大班科学活动教案《杯中的热水》润新教育.txt
05-29
大班科学活动教案《杯中的热水》润新教育.txt
智警杯初赛复现
2202_75317918的博客
06-14 859
智警杯复现
[2023CISCN]国赛初赛WEB题目复现
qq_42585535的博客
10-23 451
最近几个月在学免杀，JAVA安全以及JS相关内容，导致CTF摆了很久，这次复现国赛题目就当做恢复训练了。
2022鹏城杯
unexpectedthing的博客
08-30 2189
2022鹏城杯
[2023CISCN]国赛初赛WEB题目复现_2023国赛初赛unzip题目复现(1)
m0_61549740的博客
04-06 638
还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！【完整版领取方式在文末！！
Photoshop给杯中加点冰块.doc
06-29
Photoshop给杯中加点冰块
杯中人生.doc
09-14
杯中人生.doc
底层逻辑——半秒钟看透问题本质
热门推荐
QY_program的博客
06-20 1万+
《底层逻辑——半秒钟看透问题本质》读书笔记
2022保育员（初级）考试题库及模拟考试
zd0618的博客
05-30 2960
题库来源：安全生产模拟考试一点通公众号小程序 2022年保育员（初级）题库为保育员（初级）国家题库考前押题密卷！2022保育员（初级）考试题库及模拟考试根据保育员（初级）考试教材。保育员（初级）考试100题随时根据安全生产模拟考试一点通上提前熟悉考试环境。 1、【单选题】()不是幼儿口腔清洁的方法。（A） A、盐水擦拭 B、喝水 C、漱口 D、刷牙 2、【单选题】()有利于婴幼儿进餐。（C） A、婴幼儿吃饭时有陌生人出现 B、催促婴幼儿进餐 C、餐室内安静，同时轻声地...
linux---进程通信
最新发布
m0_74979625的博客
05-17 551
提示：以下是本篇文章正文内容，下面案例可供参考。
cyclegan复现环境搭配
05-13
要复现CycleGAN模型，您需要以下环境： 1. Python 3.6或更高版本 2. PyTorch 1.0或更高版本 3. Torchvision 0.2.1或更高版本 4. NumPy 5. Matplotlib 您可以通过以下步骤来安装这些依赖项： 1. 安装Python 3.6或更高版本。您可以从官方网站上下载Python：https://www.python.org/downloads/ 2. 安装PyTorch和Torchvision。您可以使用以下命令在命令行中安装PyTorch和Torchvision： ``` pip3 install torch torchvision ``` 3. 安装NumPy和Matplotlib。您可以使用以下命令在命令行中安装NumPy和Matplotlib： ``` pip3 install numpy matplotlib ``` 完成安装后，您可以开始CycleGAN的复现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值