红亚华宇杯所有操作步骤

1、修改主机名(三台)

hostnamectl set-hostname master
bash  #立即生效
hostnamectl set-hostname slave1
bash  #立即生效
hostnamectl set-hostname slave2
bash  #立即生效

2、配置本地源(三台,练习不执行,比赛执行

)

发信号给 yum 进程:pkill -9 yum
进入 yum 源配置文件:cd /etc/yum.repos.d
删除所有文件:rm -rf *
下载 yum 源:wget http://172.16.47.240/bigdata/repofile/bigdata.repo
清除 YUM 缓存:yum clean all

3、配置host文件(三台)

vim /etc/hosts
10.0.0.18 master
10.0.0.19 slave1
10.0.0.17 slave2

4、关闭防火墙(三台)

systemctl stop firewalld
systemctl status firewalld

5、时间同步(三台)

tzselect
5
9
1
1
yum install -y ntp

vim /etc/ntp.conf  #master执行
#添加如下
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10 

重启 ntp 服务(master 上执行)
/bin/systemctl restart ntpd.service

其他机器进行同步(在 slave1,slave2 中执行)
ntpdate master

6、配置ssh免密

在 master 上执行如下命令生成公私密钥:(注意 master 上执行)

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

然后将 master 公钥 id_dsa 复制到 slave1 进行公钥认证。

ssh-copy-id -i /root/.ssh/id_dsa.pub slave1
ssh-copy-id -i /root/.ssh/id_dsa.pub master
ssh-copy-id -i /root/.ssh/id_dsa.pub slave2

7、安装jdk(所有命令在master执行,最后分发到slave1、slave2上)

mkdir -p /usr/java
cd /usr/java
wget http://172.16.47.240/bigdata/bigdata_tar/jdk-8u171-linux-x64.tar.gz
tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/java

在 master 中将 JDK 复制到 slave1 和 slave2 中。(在 master 执行)

scp -r /usr/java root@slave1:/usr/
scp -r /usr/java root@slave2:/usr/

修改环境变量:(三台)

vim /etc/profile

添加内容如下:

export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

source /etc/profile (三台)
java -version (三台)

8、安装zookeeper(所有命令在master执行,最后分发到slave1、slave2上)

mkdir -p /usr/zookeeper
cd /usr/zookeeper
wget http://172.16.47.240/bigdata/bigdata_tar/zookeeper-3.4.10.tar.gz
tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/zookeeper

在 zookeeper 的目录中,创建配置中所需的 zkdata 和 zkdatalog 两个文件夹。(在 master
执行)

cd /usr/zookeeper/zookeeper-3.4.10
mkdir zkdata
mkdir zkdatalog

配置文件 zoo.cfg

cd /usr/zookeeper/zookeeper-3.4.10/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

修改如下:

tickTime=2000 
initLimit=10
syncLimit=5
dataDir=/usr/zookeeper/zookeeper-3.4.10/zkdata
clientPort=2181
dataLogDir=/usr/zookeeper/zookeeper-3.4.10/zkdatalog
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

集群中设置 master 为 1 号服务器,slave1 为 2 号服务器,slave2 为 3 号服务器

cd /usr/zookeeper/zookeeper-3.4.10/zkdata
vim myid 
1

在 master 中将 zookeeper复制到 slave1 和 slave2 中。(在 master 执行)

scp -r /usr/zookeeper root@slave1:/usr/
scp -r /usr/zookeeper root@slave2:/usr/

(在 slave1 执行)

cd /usr/zookeeper/zookeeper-3.4.10/zkdata
vim myid 
2

(在 slave2 执行)

cd /usr/zookeeper/zookeeper-3.4.10/zkdata
vim myid 
3

配置环境变量(三台)

vim /etc/profile
#set zookeeper environment
export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.10 
PATH=$PATH:$ZOOKEEPER_HOME/bin 

source /etc/profile (三台)

启动zookeeper
注意在 zookeeper 目录下:(三台机器都执行)

cd ..
bin/zkServer.sh start
bin/zkServer.sh status

9、安装hadoop(所有命令在master执行,最后分发到slave1、slave2上)

mkdir -p /usr/hadoop
cd /usr/hadoop
wget http://172.16.47.240/bigdata/bigdata_tar/hadoop-2.7.3.tar.gz
tar -zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop

配置环境变量(三台)

vim /etc/profile

添加如下内容:

#HADOOP
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile(三台)

修改基本配置

cd $HADOOP_HOME/etc/hadoop
vim hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_171
vim core-site.xml
<property>
 		<name>fs.default.name</name>
 		<value>hdfs://master:9000</value>
	</property>
	<property>
 		<name>hadoop.tmp.dir</name>
 		<value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
		<description>A base for other temporary directories.</description>
	</property>
	<property>
 		<name>io.file.buffer.size</name>
 		<value>131072</value>
	</property>
	<property>
 		<name>fs.checkpoint.period</name>
		 <value>60</value>
	</property>
	<property>
 		<name>fs.checkpoint.size</name>
		 <value>67108864</value>
	</property>
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<property>
<!--指定 Mapreduce 运行在 yarn 上-->
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
vim yarn-site.xml
<!-- 指定 ResourceManager 的地址-->
	<property>
		<name>yarn.resourcemanager.address</name>
		<value>master:18040</value>
	</property>
	<property>
 		<name>yarn.resourcemanager.scheduler.address</name>
		 <value>master:18030</value>
	</property>
	<property>
 		<name>yarn.resourcemanager.webapp.address</name>
 		<value>master:18088</value>
	</property>
	<property>
 		<name>yarn.resourcemanager.resource-tracker.address</name>
 		<value>master:18025</value>
	</property>
	<property>
 		<name>yarn.resourcemanager.admin.address</name>
		<value>master:18141</value>
	</property>
	<!-- 指定 reducer 获取数据的方式-->
	<property>
 		<name>yarn.nodemanager.aux-services</name>
 		<value>mapreduce_shuffle</value>
	</property>
	<property>
 		<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
 		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
vim hdfs-site.xml
<property>
		<name>dfs.replication</name>
 		<value>2</value>
	</property>
	<property>
 		<name>dfs.namenode.name.dir</name>
 		<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
 		<final>true</final>
	</property>
	<property>
 		<name>dfs.datanode.data.dir</name>
		<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
		 <final>true</final>
	</property>
	<property>
 		<name>dfs.namenode.secondary.http-address</name>
 		<value>master:9001</value>
	</property>
	<property>
		 <name>dfs.webhdfs.enabled</name>
 		<value>true</value>
	</property>
	<property>
 		<name>dfs.permissions</name>
 		<value>false</value>
	</property>
vim slaves 
slave1
slave2
vim master
master

在 master 中将hadoop复制到 slave1 和 slave2 中。(在 master 执行)

scp -r /usr/hadoop root@slave1:/usr/
scp -r /usr/hadoop root@slave2:/usr/

格式化 hadoop (仅在 master 中进行操作)

hadoop namenode -format

开启 hadoop 集群 仅在 master 中进行操作

cd /usr/hadoop/hadoop-2.7.3
sbin/start-all.sh

10、安装hbase(所有命令在master执行,最后分发到slave1、slave2上)

mkdir -p /usr/hbase
cd /usr/hbase
wget http://172.16.47.240/bigdata/bigdata_tar/hbase-1.2.4-bin.tar.gz
tar -zxvf hbase-1.2.4-bin.tar.gz -C /usr/hbase

修改基本配置

cd /usr/hbase/hbase-1.2.4/conf
vim hbase-env.sh
export HBASE_MANAGES_ZK=false
export JAVA_HOME=/usr/java/jdk1.8.0_171
export HBASE_CLASSPATH=/usr/hadoop/hadoop-2.7.3/etc/hadoop
vim hbase-site.xml
<property>
 		<name>hbase.rootdir</name>
 		<value>hdfs://master:9000/hbase</value>
	</property>
	<property>
 		<name>hbase.cluster.distributed</name>
 		<value>true</value>
	</property>
	<property>
 		<name>hbase.master</name>
		<value>hdfs://master:6000</value>
	</property>
	<property>
		<name>hbase.zookeeper.quorum</name>
 		<value>master,slave1,slave2</value>
	</property>
	<property>
 		<name>hbase.zookeeper.property.dataDir</name>
 		<value>/usr/zookeeper/zookeeper-3.4.10</value>
	</property>
vim regionservers
slave1
slave2
cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml .
cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml .
scp -r /usr/hbase root@slave1:/usr/
scp -r /usr/hbase root@slave2:/usr/

配置环境变量(三台)

vim /etc/profile
# set hbase environment
export HBASE_HOME=/usr/hbase/hbase-1.2.4
export PATH=$PATH:$HBASE_HOME/bin
source /etc/profile

启动(master)

cd ..
bin/start-hbase.sh

11、安装hive (有问题,修改)(比赛中直接第四部,现在由于第2部配置本地源没做。)

slave2 上安装mysql
1.第一步:yum -y install wget
第二步:wget http://dev.mysql.com/get/mysql57-community-release-el7-7.noarch.rpm
第三步:yum localinstall -y mysql57-community-release-el7-7.noarch.rpm
第四步:yum install -y mysql-community-server
2.启动服务

systemctl daemon-reload
systemctl start mysqld
systemctl enable mysqld
grep "temporary password" /var/log/mysqld.log
mysql -uroot -p
set global validate_password_policy=0;
set global validate_password_length=4;
alter user 'root'@'localhost' identified by '123456';
\q
mysql -uroot -p123456
create user 'root'@'%' identified by '123456';
grant all privileges on *.* to 'root'@'%' with grant option;
flush privileges;
create database test;

master上执行

mkdir -p /usr/hive
cd /usr/hive
wget http://172.16.47.240/bigdata/bigdata_tar/apache-hive-2.1.1-bin.tar.gz
tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/hive

修改 hive-env.sh 中 HADOOP_HOME 环境变量

cd $HIVE_HOME/conf
ls
cp hive-env.sh.template hive-env.sh
vim hive-env.sh
HADOOP_HOME=/usr/hadoop/hadoop-2.7.3

scp -r /usr/hive root@slave1:/usr/

master、slave1上执行

vim /etc/profile
#set hive
export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin
export PATH=$PATH:$HIVE_HOME/bin
source /etc/profile

解决jar包冲突问题(master上执行)

cp /usr/hive/apache-hive-2.1.1-bin/lib/jline-2.12.jar /usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib/

服务端需要和 Mysql 通信(slave1上执行)

cd /usr/hive/apache-hive-2.1.1-bin/lib 
wget http://172.16.47.240/bigdata/bigdata_tar/mysql-connector-java-5.1.47-bin.jar
cd $HIVE_HOME/conf
ls
vim  hive-site.xml 
<configuration>
	<!-- Hive 产生的元数据存放位置-->
	<property>
		<name>hive.metastore.warehouse.dir</name>
		<value>/user/hive_remote/warehouse</value>
	</property>
	<!-- 数据库连接 JDBC 的 URL 地址-->
	<property>
		<name>javax.jdo.option.ConnectionURL</name> 
		<value>jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExist=true</value>
	</property>
	<!-- 数据库连接 driver,即 MySQL 驱动-->
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<!-- MySQL 数据库用户名-->
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
	</property>
	<!-- MySQL 数据库密码-->
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>123456</value>
	</property>
	<property>
		<name>hive.metastore.schema.verification</name>
		<value>false</value>
	</property>
	<property>
		<name>datanucleus.schema.autoCreateAll</name>
		<value>true</value>
	</property>
</configuration>

(master上执行)

cd $HIVE_HOME/conf
vim hive-site.xml
<configuration>
<!-- Hive 产生的元数据存放位置-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<!--- 使用本地服务连接 Hive,默认为 true-->
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>
<!-- 连接服务器-->
<property>
<name>hive.metastore.uris</name>
<value>thrift://slave1:9083</value>
</property>
</configuration>

启动 hive server 服务(slave1 上)

cd ..
bin/hive --service metastore

启动 hive client(master 上)

cd ..
bin/hive
create database hive_db;

12、安装spark(master上安装,分发)

mkdir -p /usr/scala
cd /usr/scala
wget http://172.16.47.240/bigdata/bigdata_tar/scala-2.11.12.tgz
tar -zxvf scala-2.11.12.tgz -C /usr/scala
scp -r /usr/scala root@slave1:/usr/
scp -r /usr/scala root@slave2:/usr/

配置环境变量(三台)

vim /etc/profile
# set scala environment
export SCALA_HOME=/usr/scala/scala-2.11.12
export PATH=$PATH:$SCALA_HOME/bin
source /etc/profile

安装spark(主节点)

mkdir -p /usr/spark
cd /usr/spark
wget http://172.16.47.240/bigdata/bigdata_tar/spark-2.4.0-bin-hadoop2.7.tgz
tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /usr/spark
cd spark-2.4.0-bin-hadoop2.7/conf
cp spark-env.sh.template spark-env.sh
vim spark-env.sh

添加如下内容

export SPARK_MASTER_IP=master
export SCALA_HOME=/usr/scala/scala-2.11.12
export SPARK_WORKER_MEMORY=8g
export JAVA_HOME=/usr/java/jdk1.8.0_171
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.7.3/etc/hadoop
cp slaves.template slaves
vim slaves
添加如下内容
slave1
slave2
scp -r /usr/spark root@slave1:/usr/
scp -r /usr/spark root@slave2:/usr/

配置环境变量(三台)

vim /etc/profile
export SPARK_HOME=/usr/spark/spark-2.4.0-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH
source /etc/profile

开启spark环境(master节点)

/usr/spark/spark-2.4.0-bin-hadoop2.7/sbin/start-all.sh
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值