简介
概述
-
Hadoop原本是由Yahoo!公司开发的后来贡献给了Apache的一套开源的、可靠的、可扩展/可伸缩的、分布式架构
-
Hadoop之父:Doug.Cutting(道格.卡汀/卡丁)
-
由于Hadoop的版本混乱,所以在选择Hadoop版本的时候需要注意Hadoop的兼容性问题
-
Hadoop提供了简单的编程模型在集群中处理大量的数据集
-
Hadoop能够从一台主机扩展到上千台主机,每一台主机都能够进行本地存储和计算
-
Hadoop本身提供了探测和处理异常的机制
-
Hadoop是大数据中的生态框架,大数据中超过70%的技术都依赖或者可以使用Hadoop
-
Hadoop的搭建分为:单机模式、伪分布式、完全分布式和高可用模式
发展历程
-
2002年的时候,Doug和Mike Caferalla仿照Google设计一个搜索引擎Nutch,也因此Doug和Mike爬取了全网10亿个网页的数据,爬取到数据之后,就需要考虑数据如何存储
-
2003年,Google发表了一篇论文<The Google File System>(简称为GFS),在这片论文中阐述了分布式存储的思想和原理,但是Google并没有对外公开使用GFS
-
Doug和Mike发现了这篇论文之后,根据这篇论文阐述的原理实现了NDFS(Nutch Distributed File System),从而解决了数据存储的问题,下一个问题就接踵而来:如何处理这些数据
-
2004年,Google发表了一篇论文<The Google MapReduce>,在这篇论文中阐述了分布式计算的思想和原理,同样,Google没有对外公开使用这个框架
-
Doug再次发现这篇论文,仿照这篇论文实现了Nutch MapReduce,从而解决了分布式计算问题,到此Nutch搜索引擎正式面世
-
到了Nutch0.8版本的时候,Doug发现NDFS和MapReduce不只是可以用于搜索引擎,还可用于其他的分布式场景,也因此将这些组件提取出来,构成了Hadoop,其中NDFS改名为HDFS(Hadoop Distributed File System)
-
后来,Doug从原公司离职,入职了Yahoo!。在Yahoo!期间,投入了大量的精力、财力和人力研发Hadoop
-
大约在2012年,Yahoo!将Hadoop、HBase、Pig等大数据框架贡献给了Apache
发行版本
-
Apache版本:原生版本,开源、免费的,由Apache社区维护,但是版本比较混乱,学习的时候需要注意版本和组件之间的兼容性问题
-
CDH版本:收费、闭源的商用版本,由Cloudera公司开发的版本,CDH版本中提供了非常好的组件的部署和维护的特性,同时CDH还提供了良好的集群监控性能。在CDH6.3版本之前,还提供了试用版;从CDH6.3开始,全面收费,不再提供试用版。收费不菲,之前每节点每年收费4000美元
-
Horton Works版本:收费、开源的商用版本(HDP),开始是由Horton公司开发,提供了较为灵活的配置,允许进行二次开发,所以HDP监控和部署性能不如CDH,收费相对便宜:每10个节点每年收费12500美元。后来HDP被Cloudera公司收购,HDP和CDH进行了整合,整合成CDP。现在CDP收费是每节点每年10000美元
版本
-
Hadoop1.X:包含Common、HDFS和MapReduce。最早的版本,停止使用
-
Hadoop2.X:包含Common、HDFS、MapReduce和YARN。市面上部分公司还在使用。需要注意的是,Hadoop1.X和Hadoop2.X不兼容。Hadoop2.X中的部分版本之间也存在兼容问题
-
Hadoop3.X:包含Common、HDFS、MapReduce和YARN。市面上部分公司使用。Hadoop3.X基本上兼容Hadoop2.X
模块
-
Hadoop Common:公共模块
-
Hadoop Distributed File System (HDFS™):分布式文件存储系统
-
Hadoop YARN:任务调度和集群资源管理
-
Hadoop MapReduce:基于YARN的分布式计算系统
完全分布式安装
-
关闭防火墙
systemctl stop firewalld systemctl disable firewalld
-
修改主机名
vim /etc/hostname # 删除掉原来的,改成自己的主机名
-
进行主机名和IP的映射
vim /etc/hosts # 在文件中添加三台主机的IP 主机名,例如 10.16.2.191 hadoop01 10.16.2.194 hadoop02 10.16.2.193 hadoop03
-
关闭SELINUX
# 编辑文件 vim /etc/selinux/config # 将SELINUX的值改为disabled SELINUX=disabled
-
重启
reboot
-
免密互通
# 产生密钥 ssh-keygen # 拷贝公钥 ssh-copy-id root@hadoop01 ssh-copy-id root@hadoop02 ssh-copy-id root@hadoop03 # 测试 ssh hadoop01 # 如果不需要密码,则输入logout ssh hadoop02 # 如果不需要密码,则输入logout ssh hadoop03 # 如果不需要密码,则输入logout
-
进入软件预安装目录,上传或者下载Hadoop安装包
cd /opt/presoftware/ # 上传或者下载Hadoop安装包
-
解压
tar -xvf hadoop-3.2.4.tar.gz -C /opt/software/
-
进入Hadoop的配置目录
cd /opt/software/hadoop-3.2.4/etc/hadoop/
-
编辑文件
# 编辑文件 vim hadoop-env.sh # 在文件中添加 export JAVA_HOME=/opt/software/jdk1.8 export HADOOP_CONF_DIR=/opt/software/hadoop-3.2.4/etc/hadoop # 保存退出,生效 source hadoop-env.sh
-
编辑文件
vim core-site.xml
在文件中添加
<!-- 指定NameNode的地址 --> <property> <name>fs.default.name</name> <value>hdfs://hadoop01:9000</value> </property> <!-- 指定hadoop数据的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/software/hadoop-3.2.4/tmp</value> </property> <!-- 配置HDFS网页登录使用的静态用户为root --> <property> <name>hadoop.http.staticuser.user</name> <value>root</value> </property> <!-- 配置root用户允许通过代理访问的主机节点 --> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <!-- 配置root允许通过代理用户所属组 --> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property> <!-- 配置root允许通过代理的用户--> <property> <name>hadoop.proxyuser.root.users</name> <value>*</value> </property>
-
编辑文件
vim hdfs-site.xml
在文件中添加
<!-- NameNode web端访问地址--> <property> <name>dfs.namenode.http-address</name> <value>hadoop01:9870</value> </property> <!-- SecondaryNameNode web端访问地址--> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop02:9868</value> </property> <!-- 测试环境指定HDFS副本的数量1 --> <property> <name>dfs.replication</name> <value>1</value> </property>
-
编辑文件
vim mapred-site.xml
在文件中添加
<!-- 指定MapReduce程序运行在Yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <!--指定MapReduce的运行环境--> <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=/opt/software/hadoop-3.2.4</value> </property> <property> <name>mapreduce.map.env</name> <value>HADOOP_MAPRED_HOME=/opt/software/hadoop-3.2.4</value> </property> <property> <name>mapreduce.reduce.env</name> <value>HADOOP_MAPRED_HOME=/opt/software/hadoop-3.2.4</value> </property>
-
编辑文件
vim yarn-site.xml
在文件中添加
<!-- 指定MapReduce走shuffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定ResourceManager的地址--> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop03</value> </property> <!-- 环境变量的继承 --> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> </property> <!-- yarn容器允许分配的最小内存 --> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>512</value> </property> <!-- yarn容器允许分配的最大内存 --> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>4096</value> </property> <!-- yarn容器允许管理的物理内存大小 --> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>4096</value> </property> <!-- 关闭yarn对物理内存的限制检查 --> <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property> <property> <!-- 关闭yarn对虚拟内存的限制检查 --> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property>
-
编辑文件
# 在Hadoop3中,这个文件是workers,在Hadoop2中,这个文件slaves vim workers # 添加自己的主机名 hadoop01 hadoop02 hadoop03
-
进入Hadoop的命令目录
cd /opt/software/hadoop-3.2.4/sbin/
-
修改文件
vim start-dfs.sh # 在文件头部添加 HDFS_NAME_USER=root HDFS_SECONDARYNAMENODE_USER=root HDFS_DATANODE_USER=root HDFS_DATANODE_SECURE_USER=root
18. 修改文件
vim stop-dfs.sh
# 在文件头部添加
HDFS_NAME_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=root
19. 修改文件
vim start-yarn.sh
# 在文件头部添加
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
HDFS_DATANODE_SECURE_USER=root
20. 修改文件
vim stop-yarn.sh
# 在文件头部添加
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
HDFS_DATANODE_SECURE_USER=root
Hadoop三台节点分布式安装到此结束。