目录
1.通过scp/rsync将102的jdk,hadoop复制到103,104
一、Hadoop基本概念
1.什么是Hadoop
Hadoop是Apache开发的分布式系统基础架构,主要用于解决海量数据的存储和分析计算。
2.Hadoop的优势
(1)高可用:数据副本
(2)高拓展性:集群
(3)高效性:并行工作
(4)高容错性:失败重试
3.Hadoop组成
Hadoop有1.X,2.X,3.X三个版本
(1)Hadoop1.X
(2)Hadoop2.X
Hadoop3.X和Hadoop2.X组成上一样
4.HDFS概述
HDFS是一个分布式文件系统。
HDFS = NameNode + DataNode + Secondary NameNode
(1)NameNode
存储元数据(对具体的数据的描述的数据),每个文件的块列表,块所在的DataNode。
可以简单的理解为对DataNode的描述信息
(2)DataNode
在本地文件系统存储文件块数据,以及数据的校验。
可以简单理解为存放具体的数据
(3)Secondary NameNode
每隔一段时间对NameNode备份
5.YARN概述
YARN是资源协调者,是Hadoop的资源管理者。
YARN = ResourceManager + NodeManager + ApplicationMaster + Container
(1)ResourceManager:管理整个集群的资源(cpu,内存)
(2)NodeManager:管理单个节点服务器的资源
(3)ApplicationMaster:管理单个任务的资源
(4)Container:容器,一个任务可能会需要调用多个相关资源,每个资源被封装成一个虚拟服务器,即容器,供任务调用
注1:客户端可以有多个
注2:集群上可以有多个ApplicationMaster
注3:每个NodeManager可以有多个Container
6.MapReduce概述
MapReduce用于数据的处理。
MapReduce = Map + Reduce
(1)Map
并行处理输入的数据
(2)Reduce
对Map阶段并行处理的数据进行汇总
7 大数据整体的技术栈学历路径
二、基本环境搭建
1.配置虚拟机
虚拟机是15.5
这边声明一下,我们之前也有安装虚拟机的教程,当时使用的是红帽版本,这边使用centos 7 :
然后是配置cpu核数,这个每个电脑不一样,可以参考如下方法:
可以看到,我的cpu是12核,
因为我的cpu核一共12个,我们一般会用3个虚拟机,外加windows,所以要分成4个用,一个平均占3个,处理器数量一般给2,所以每个处理器只能1核了:(如果你16核,就2*2)
打开虚拟化:
2.配置镜像
双击CD/DVD:
进来之后先配置时间,然后软件选择桌面:
设置安装位置:
关闭dump:
配置好之后重启。
接受一下协议:
3.配置ip和主机名称
(1)修改虚拟机ip
先打开虚拟网络编辑器:
(2)修改windows的ip
(3)指定静态ip和hostname
su root
vim /etc/sysconfig/network-scripts/ifcfg-ens33
###########################################
#变更为static
BOOTPROTO="static"
IPADDR=192.168.10.100
GATEWAY=192.168.10.2
DNS1=192.168.10.2
###########################################
#更改主机名称,因为我们之前变了,就不动
vim /etc/hostname
(4)映射ip
vim /etc/hosts
##################################
192.168.200.100 hadoop100
192.168.200.101 hadoop101
192.168.200.102 hadoop102
192.168.200.103 hadoop103
192.168.200.104 hadoop104
192.168.200.105 hadoop105
192.168.200.106 hadoop106
192.168.200.107 hadoop107
192.168.200.108 hadoop108
##################################
都配置好了,reboot重启一下。
4.模板虚拟机
(1)安装基本软件库
yum install -y epel-release
注:如果你安装的不是桌面版,而是最小版的操作系统,还需要添加如下。当然我们是桌面版,下面的就不需要
yum install -y net-tools
yum install -y vim
(2)关闭防火墙
systemctl stop firewalld
systemctl disable firewalld.service
(3)添加用户
useradd 用户名
passwd 用户密码
(4)给用户设置管理员权限
vim /etc/sudoers
##########################################
xupeng ALL=(ALL) NOPASSWD:ALL
##########################################
(5)创建两个文件夹
mkdir -p /opt/module
mkdir -p /opt/software
(6)卸载虚拟机自带的jdk
rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
#rpm -qa:查询所安装的所有rpm软件包
#grep -i:忽略大小写
#xargs -n1:表示每次只传递一个参数
#rpm -e –nodeps:强制卸载软件
5.克隆虚拟机
我们给hadoop100克隆3个,分别是102,103,104。其中101先不占用,后期做伪分布式的时候要用。
注1:克隆前需要关闭虚拟机。
注2:没有贴出图片的地方表示都是直接点击下一步即可
注3:102,103,104步骤基本一致,记得改名即可
(1)克隆
右键hadoop100=>管理=>克隆
(2)修改ip
用root先登录上去,然后:
#先修改ip
vim /etc/sysconfig/network-scripts/ifcfg-ens33
#再修改hostname
vim /etc/hostname
(3)配置xshell
6. 仅hadoop102中安装jdk
我们后续会拷贝到103,104,因此这里只安装102一个
(1)安装
#安装到module目录下
cd /opt/software/
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
(2)配置java环境变量
我们前面讲过的配置环境变量是直接修改/etc/profile文件,这里我们通过自定义一个文件,然后到处到/etc/profile里面:
cd /etc/profile.d/
vim my_env.sh
**********************************
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
**********************************
#刷新一下配置文件
source /etc/profile
7.仅安装hadoop102安装hadoop
我们后续会拷贝到103,104,因此这里只安装102一个
(1)安装
cd /opt/software/
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
(2)配置hadoop环境变量
cd /etc/profile.d/
vim my_env.sh
**********************************
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
**********************************
#刷新一下配置文件
source /etc/profile
三、执行本地运行模式
hadoop有三种模式:本地、伪分布式、分布式
我们这里先走一个本地运行模式,能够顺利走通。
#先新建一个文档
cd /opt/module/hadoop-3.1.3/
mkdir wcinput
cd wcinput/
vim word.txt
*****************************
aa aa
bb bb bb
cc cc
dd dd dd
ee
ff
*****************************
#运行自带的示例jar包,查看每个单词出现的次数
#注:wcoutput表示输出路径,该路径如果已存在会报错
cd /opt/module/hadoop-3.1.3/bin/
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput/ ./wcoutput
#查看运行结果
cd wcoutput/
cat part-r-00000
四、各虚拟机之间数据同步
hadoop有三种模式:本地、伪分布式、分布式
上面我们试了本地模式,但是真正用的多的是分布式,现在我们来走一遍分布式模式。
1.通过scp/rsync将102的jdk,hadoop复制到103,104
一般来说,第一次通过scp进行复制,后面有修改的话用rsync进行同步。
#本处仅仅是为了展示scp的作用,如果熟悉scp可以直接拷贝即可
#进入到102,将102的jdk复制到103
cd /opt/module/
scp -r jdk1.8.0_212/ root@hadoop103:/opt/module/
#进入103,将102的hadoop复制到103
cd /opt/module/
scp -r root@hadoop102:/opt/module/hadoop-3.1.3 ./
#继续在103上,把102拷贝到104
scp -r root@hadoop102:/opt/module/* root@hadoop104:/opt/module/
#我们再来测试一下同步指令(基本同scp):rsync -av 同步文件A 同步文件B
#先把103中的两个文件删了
cd /opt/module/hadoop-3.1.3/
rm -rf wcinput/
rm -rf wcoutput/
#然后我们用102来同步给103
cd /opt/module/
rsync -av hadoop-3.1.3/ root@hadoop103:/opt/module/hadoop-3.1.3/
2.xsync循环复制文件到所有节点的相同目录下(重要)
我们上一步,复制和同步,一个节点要循环多次才能给其他节点,我们现在需要一个脚本,自动循环复制。
(1)新建一个$PATH的配置文件
注:这些操作均在102执行
#因为我们所有的项目都是写在/opt/module下面的,所以我们把该目录放到$PATH里面去
cd /etc/profile.d/
vim my_env.sh
*********************************************
#HADOOP_DATA_XSYNC
export HADOOP_DATA_XSYNC=/opt/module
export PATH=$PATH:$HADOOP_DATA_XSYNC
*********************************************
source /etc/profile
#可以看到我们新加的/opt/module目录
echo $PATH
(2)编写xsync脚本
cd /opt/module/
vim xsync
************************************************
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
echo ==================== $host ====================
#3. 遍历所有目录,挨个发送
for file in $@
do
#4. 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done
************************************************
#添加操作权
chmod 777 xsync
#将我们之前的my_env.sh环境变量配置文件同步到103,104
xsync /etc/profile.d/my_env.sh
#输入了6次密码后,我们成功了
#将103,104刷新一下配置文件,然后就可以看到java和hadoop可以直接运行了
source /etc/profile
3.免密登录
我们上一步输入密码吐了,我们需要免密登录。
#用102连接103,然后再退出
cd /opt/module/
ssh hadoop103
exit
#进入102的家目录,我因为使用的root,如果是用的普通账号,应该是进入/home/用户名
#能够看到有一个.ssh文件(必须要先ssh一下其他的虚拟机,不然没有.ssh文件)
cd ~
ls -al
cd .ssh/
#配置102无秘登录103,104
#三次回车之后,会生成一个私钥和公钥
ssh-keygen -t rsa
#将102生成的公钥拷贝到103,104,还要设置一次自己,这样自己以后也不用输入密码了
ssh-copy-id hadoop103
ssh-copy-id hadoop104
ssh-copy-id hadoop102
#我们同时希望103访问其他两个也不需要密码,104同理
ssh hadoop102
exit
cd ~
ls -al
cd .ssh/
ssh-keygen -t rsa
ssh-copy-id hadoop103
ssh-copy-id hadoop104
ssh-copy-id hadoop102