系列文章:
第一章 Hadoop集群搭建的准备
第二章 Hadoop集群搭建
第三章 Zookeeper分布式集群部署(2n+1台虚拟机)
第四章 Hadoop高可用集群搭建(HA)
第五章 Hive的安装与配置
待更新
第九章 spark独立模式部署(Standalone)
第十章 spark配置历史服务
第十一章 搭建Spark高可用(HA)
第十二章 spark配置Yarn模式(混合部署模式)
待更新
博客推荐系统(适合初学者的javaweb+hadoop结课设计)
毕业设计 博客分享平台的设计与实现(博客推荐系统升级版、大数据组件、可视化大屏、文章查重)
文章目录
前言
本章配置了Linux的网络以及ssh免密登录服务。 Linux环境:CentOS-6.9-x86_64一、Linux网络配置
1.查看五个VMware相关服务是否开启。
任务管理器 --> 服务。
如果没有开启,则右键运行服务。
2.VMware Workstation Pro软件设置。
点击菜单栏的编辑 --> 虚拟网络编辑器 --> NAT模式 --> 更改设置 。
NAT模式 --> 子网:192.168.121.0 --> NAT设置 --> 网关:192.168.121.2 --> DHCP设置。
3.windows下,打开设置中的“网络和Internet”。
以太网 --> 更改适配器选项 --> 右键VMware Network Adapter VMnet8(注意1) --> 属性 --> 勾选lnternet协议版本4(TCP/IPv4) --> 属性
(注意1:VMware Network Adapter VMnet8是NAT模式,如果找不到该选项,则点击VMware Workstation Pro软件菜单栏的“编辑” --> 虚拟网络编辑器 --> NAT模式 --> 更改设置 --> NAT模式 --> 勾选“将主机虚拟适配器连接到此网络”)
配置如下:
4.将虚拟机完整克隆两台。
5.Linux下的配置。
(1)配置主机名。
打开Linux的终端输入:
vim /etc/sysconfig/network
在/etc/sysconfig/network文件中输入:
HOSTNAME=hadoop01 //另外两台虚拟机分别为02、03
(2)配置IP映射,IP的可选范围在第二步中的“起始IP地址”与“结束IP地址”之间。
打开/etc/hosts文件,在文件末尾添加(三台虚拟机都要修改):
192.168.121.134 hadoop01
192.168.121.135 hadoop02
192.168.121.136 hadoop03
6.设置网卡设备的Mac地址。
(1)查看虚拟机Mac地址。
右键要查看的虚拟机,选择“设置” --> “网络适配器” --> “高级”,查看Mac地址。
(2)打开虚拟机终端输入ifconfig命令查看Mac地址是否与虚拟机Mac地址一致。
(3)如果两个Mac地址不一致,则修改/etc/udev/rules.d/70-persistent-net.rules文件。
SUBSYSTEM=="net", ACTION=="add",DRIVERS=="?*",ATTR{address}=="0B:Bc:29:47:7f:9a",ATTR{tupe}=="1",KERNEL=="eth",NAME="eth0"
如果文件中有两组上述配置则需删除一组,然后修改“ATTR{address}=“虚拟机对应的MAC地址””和“NAME=“eth0””。
7.配置静态IP地址。
(1)配置/etc/sysconfig/network-scripts/ifcfg-eth0文件,如下:
//修改
ONBOOT=yes //启动网卡
BOOTPROTO=static //dhcp为自动,static为静态
//添加
HWADDR=0B:BC:29:47:7F:9A //虚拟机Mac地址
IPADDR=192.168.121.134 //IP地址
GATEWAT=192.168.121.2 //网关
NETMASK=255.255.255.0 //子网掩码
DNS1=8.8.8.8 //谷歌提供的免费DNS地址
(2)重启网卡服务。
输入以下命令或者重启虚拟机
service network restart //或者systemctl restart network
(注意:如果复制过来的两个虚拟机,网卡重启失败,请尝试将/etc/sysconfig/network-scripts/ifcfg-eth0中的“DEVICE=eth0”改为“DEVICE=eth1”,并将/etc/udev/rules.d/70-persistent-net.rules中的“NAME=“eth0””改为“NAME=“eth1””。)
8.检查三台虚拟机之间是否互通。
分别在各个虚拟机下ping其他虚拟机的ip地址,代码如下:
ping 192.168.121.134
9.检查是否能ping通百度,如果ping不通外网,尝试以下命令。
dhclient
二、配置yum仓库
备份yum源
mv /etc/yum.repos.d /etc/yum.repos.d.bak
创建yum源目录
mkdir /etc/yum.repos.d
创建yum源文件
vi /etc/yum.repos.d/CentOS-Base.repo
向文件中添加以下内容
[base]
name=centos-office
failovermethod=priority
baseurl=https://vault.centos.org/6.10/os/x86_64/
gpgcheck=1
gpgkey=https://vault.centos.org/6.10/os/x86_64/RPM-GPG-KEY-CentOS-6
配置完成即可使用。
三、SSH服务配置
目的:实现远程登录和SSH免密登录。
1.查看是否安装SSH服务。
rpm -qa | grep ssh
若没有安装则执行命令:
yum install openssh-server
2.查看是否启动SSH服务。
ps -e | grep ssh
若没有开启ssh服务则执行命令:
service sshd start //或者systemctl start sshd
3.分别在三台虚拟机上生成公钥与私钥。
命令如下:
ssh-keygen -t rsa //生成的公私钥默认存储路径为/root/.ssh/
4.将公钥全部拷贝到同一台虚拟机上(这里选择拷贝到hadoop01)。
三台虚拟机均执行:
ssh-copy-id hadoop01
5.将hadoop01的认证(即上一步中存放所有虚拟机公钥的文件/root/.ssh/authorized_keys)分发到其他虚拟机。
在hadoop01上依次执行下列命令:
scp /root/.ssh/authorized_keys hadoop02:/root/.ssh
scp /root/.ssh/authorized_keys hadoop03:/root/.ssh