一、修改主机名
hostnamectl set-hostname node02
#node02是要修改的主机名
查看主机名
hostname
二、配置网络
vi /etc/sysconfig/network-scripts/ifcfg-ens33
1、生成一个UUID
uuidgen ens33
2、将生成的UUID写入网络配置文件ens33
3、重启网络,验证是否连接上网络(安装虚拟机的PC可以正常上网)
service network restart
4、查看ip
ifconfig
三、配置SSH服务
1、查看当前虚拟机是否安装OpenSSH
rpm -qa | grep openssh
上图已经安装了OpenSSH,如果没有安装
可以执行
yum install openssh-server
在线安装OpenSSH
2、查看当前虚拟机是否开启OpenSSH
service sshd status
如果OpenSSH服务处于关闭状态
则执行
service sshd start
四、配置SSH免密钥登录功能
1、配置SSH免密钥登录功能(三台虚拟机都需要操作)
ssh-keygen -t rsa
{根据提示操作)
生成密钥操作会默认在虚拟机的root目录下生成一个包含密钥的隐藏目录.ssh
进入隐藏目录
cd /root/.ssh
查看当前目录下所有文件
ll -a
id_rsa和id_rsa.pub分别是虚拟机的私钥文件和公钥文件
为了便于文件配置和虚拟机通信,对主机进行映射配置
vi /etc/hosts
添加
192.168.121.130 node01
192.168.121.131 node02
192.168.121.132 node03
执行
ssh-copy-id 主机名
将公钥复制到相关联的虚拟机(包括自身)
五、配置jdk
六、配置zookeeper启动和关闭
1、启动zookeeper集群
(1)查看防火墙服务启动状态
systemctl status firewalld
(2)关闭防火墙服务(临时)
systemctl stop firewalld
(3)禁止防火墙开机启动(永久)
systemctl disable firewalld
(4)启动zookeeper集群每台机器都要执行
zkServer.sh start
(5)查看zookeeper服务状态每台机器都要执行
zkServer.sh status
2、关闭zookeeper集群每台机器都要执行
zkServer.sh stop
七、搭建hadoop完全分布式
1、安装hadoop
通过解压缩的方式安装hadoop
tar -zxvf /export/software/hadoop-2.7.1.tar.gz -C /export/servers/
重命名为hadoop
mv /export/servers/hadoop-2.7.1 /export/servers/hadoop
2、配置环境变量
vi /etc/profile
#java
export JAVA_HOME=/export/servers/jdk/
export PATH=$PATH:$JAVA_HOME/bin/
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar
#zookeeper
export ZK_HOME=/export/servers/zookeeper-3.4.10/
export PATH=$PATH:$ZK_HOME/bin
#hadoop
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CLASSPATH='$HADOOP_HOME/bin/hadoop classpath'
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
#hive
export HIVE_HOME=/export/servers/hive
export PATH=$PATH:$HIVE_HOME/bin
#hbase
export HBASE_HOME=/export/servers/hbase
export PATH=$HBASE_HOME/bin:$PATH
#spark
export SPARK_HOME=/export/servers/spark
export PATH=$SPARK_HOME/bin:$PATH
上面是所用到的所有环境变量
初始化环境变量
source /etc/profile
查看hadoop版本
hadoop version
以下操作都在Hadoop的/etc/hadoop
3、修改hadoop-env.sh
vi hadoop-env.sh
找到export JAVA_HOME一行,把行首的#去掉,并按实际修改JAVA_HOME的值
#The java implementation to use.(这行不用动)
Export JAVA_HOME=/home/用户名/jdk(这里放的是java的路径,尽量写实际路径,不要写软链接,有时候会NOT a valid JAR)
4、配置yarn-env.sh
vi yarn-env.sh
将文件内默认的JAVA_HOME参数修改为本地的安装JDK的路径
5、修改core-site.xml文件
vi core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.127.140:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/export/servers/hadoop/tmp</value>
</property>
6、修改hdfs-site.xml
vi hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/module/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/module/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node01:50090</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>node01:50070</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
7、修改mapred-site.xml
vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
8、修改yarn-site.xml
vi yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node01</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>node01:8088</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.https.address</name>
<value>node01:8090</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>
9、修改slaves
vi slaves
删除文件中默认存在的loaclhost,并添加三台机器的主机名
10、分发文件
scp -r hadoop root@node02:/export/servers/
scp -r hadoop root@node02:/export/servers/
#这里的hadoop代指hadoop的路径
分发环境变量
scp /etc/profile root@node02:/etc/
scp /etc/profile root@node03:/etc/
八、启动hadoop
1、启动zookeeper(六、配置zookeeper启动和关闭)
2、初始化NameNode(仅初次启动执行)
hdfs namenode -format
3、启动hadoop
start-all.sh
九、hive的部署
解压安装hive
#和hadoop类似
1、初始化Derby
进入Hive的安装目录下进行初始化Derby数据库的操作
bin/schematool -initSchema -dbType derby
2、启动hive客户端
在Hive安装目录下执行
bin/hive
3、安装mysql
cenos7安装mysql5.7_centos7.1 安装mysql5.7-CSDN博客
4、配置hive
(1)编辑hive-env.sh
进入hive安装目录下的conf目录,复制模板文件 hive-env.sh.template并重命名为hive-env.sh
cd /export/severs/hive/conf
cp hive-env.sh.template hive-env.sh
vi hive-env.sh
在文件末尾添加
(2)编辑hive-site.xml
(3)上传mysql的驱动包
进入hive存放依赖的lib目录下,执行rz命令上传JDBC连接mysql的驱动包
mysql-connector-java-5.1.32.jar
(4)配置hive环境变量
#在hadoop配置环境变量时已经提前写上
(5)初始化mysql
schematool -initSchema -dbType mysql
初始化完成后出现schemaTool completed信息,则说明成功初始化mysql
(6)启动hive客户端
hive
默认数据库为default
十、hbase的安装
解压安装hbase
#和hadoop类似
1、创建zookeeper数据目录
进入hbase目录下
cd /export/servers/hbase
mkdir zookeeper
2、配置环境变量,配置Hadoop已经配置完毕
3、配置文件
(1)修改配置文件hbase-env.sh
cd /export/servers/hbase/conf
vi hbase-env.sh
去掉文件适当位置的“#”
在打开的文件中找到“#export JAVA_HOME”开头的代码,去掉前面的“#”,修改为
自己的java路径
export JAVA_HOME=/export/servers/jdk
找到“#export HBASE_MANAGES_ZK”,去掉前面的“#”,修改为
export HBASE_MANAGES__ZK=true
(2)再修改配置文件hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://node01:8020/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>node01,node02,node03</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>hbase.master.maxclockskew</name>
<value>180000</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/moduble/hbase/zookeeper</value>
</property>
</configuration>
(3)修改配置文件regionservers
vi regionservers
在打开的文件中,将内容修改为
node01
node02
node03
4、分发文件
cd
scp -r hbase root@node02:/export/servers
scp -r hbase root@node03:/export/servers
5、启动hbase
start-hbase.sh
6、检查进程
jps
十一、spark的安装
解压安装spark
1、配置文件
(1)给权限
cd /export/servers/spark
sudo chown -R hadoop:hadoop /export/servers/spark
#hadoop是登陆当前liunx系统的用户名
(2)编辑spark-env.sh
vi spark-env.sh
在第一行添加以下配置
export SPARK_DIST_CLASSPATH=$(/export/servers/hadoop/bin/hadoop classpath)
export SPARK_MASTER_HOST=namenode
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8080
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export HADOOP_CONF_DIR=/export/severs/hadoop/etc/hadoop
export JAVA_HOME=/export/servers/jdk
s2、验证spark是否安装成功
cd /export/servers/spark
bin/run-example SparkPi
bin/run-example SparkPi 2>&1 | grep "Pi is roughly"
最后检查进程