简介
概述
-
Hadoop原本是由Yahoo!公司开发的后来贡献给了Apache的一套开源的、可靠的、可扩展/可伸缩的、分布式架构
-
Hadoop之父：Doug.Cutting(道格.卡汀/卡丁)
-
由于Hadoop的版本混乱，所以在选择Hadoop版本的时候需要注意Hadoop的兼容性问题
-
Hadoop提供了简单的编程模型在集群中处理大量的数据集
-
Hadoop能够从一台主机扩展到上千台主机，每一台主机都能够进行本地存储和计算
-
Hadoop本身提供了探测和处理异常的机制
-
Hadoop是大数据中的生态框架，大数据中超过70%的技术都依赖或者可以使用Hadoop
-
Hadoop的搭建分为：单机模式、伪分布式、完全分布式和高可用模式
发展历程
-
2002年的时候，Doug和Mike Caferalla仿照Google设计一个搜索引擎Nutch，也因此Doug和Mike爬取了全网10亿个网页的数据，爬取到数据之后，就需要考虑数据如何存储
-
2003年，Google发表了一篇论文<The Google File System>(简称为GFS)，在这片论文中阐述了分布式存储的思想和原理，但是Google并没有对外公开使用GFS
-
Doug和Mike发现了这篇论文之后，根据这篇论文阐述的原理实现了NDFS(Nutch Distributed File System)，从而解决了数据存储的问题，下一个问题就接踵而来：如何处理这些数据
-
2004年，Google发表了一篇论文<The Google MapReduce>，在这篇论文中阐述了分布式计算的思想和原理，同样，Google没有对外公开使用这个框架
-
Doug再次发现这篇论文，仿照这篇论文实现了Nutch MapReduce，从而解决了分布式计算问题，到此Nutch搜索引擎正式面世
-
到了Nutch0.8版本的时候，Doug发现NDFS和MapReduce不只是可以用于搜索引擎，还可用于其他的分布式场景，也因此将这些组件提取出来，构成了Hadoop，其中NDFS改名为HDFS(Hadoop Distributed File System)
-
后来，Doug从原公司离职，入职了Yahoo!。在Yahoo!期间，投入了大量的精力、财力和人力研发Hadoop
-
大约在2012年，Yahoo!将Hadoop、HBase、Pig等大数据框架贡献给了Apache
发行版本
-
Apache版本：原生版本，开源、免费的，由Apache社区维护，但是版本比较混乱，学习的时候需要注意版本和组件之间的兼容性问题
-
CDH版本：收费、闭源的商用版本，由Cloudera公司开发的版本，CDH版本中提供了非常好的组件的部署和维护的特性，同时CDH还提供了良好的集群监控性能。在CDH6.3版本之前，还提供了试用版；从CDH6.3开始，全面收费，不再提供试用版。收费不菲，之前每节点每年收费4000美元
-
Horton Works版本：收费、开源的商用版本(HDP)，开始是由Horton公司开发，提供了较为灵活的配置，允许进行二次开发，所以HDP监控和部署性能不如CDH，收费相对便宜：每10个节点每年收费12500美元。后来HDP被Cloudera公司收购，HDP和CDH进行了整合，整合成CDP。现在CDP收费是每节点每年10000美元
版本
-
Hadoop1.X：包含Common、HDFS和MapReduce。最早的版本，停止使用
-
Hadoop2.X：包含Common、HDFS、MapReduce和YARN。市面上部分公司还在使用。需要注意的是，Hadoop1.X和Hadoop2.X不兼容。Hadoop2.X中的部分版本之间也存在兼容问题
-
Hadoop3.X：包含Common、HDFS、MapReduce和YARN。市面上部分公司使用。Hadoop3.X基本上兼容Hadoop2.X
模块
-
Hadoop Common：公共模块
-
Hadoop Distributed File System (HDFS™)：分布式文件存储系统
-
Hadoop YARN：任务调度和集群资源管理
-
Hadoop MapReduce：基于YARN的分布式计算系统
完全分布式安装
-
关闭防火墙
systemctl stop firewalld systemctl disable firewalld -
修改主机名
vim /etc/hostname # 删除掉原来的，改成自己的主机名 -
进行主机名和IP的映射
vim /etc/hosts # 在文件中添加三台主机的IP 主机名，例如 10.16.2.191 hadoop01 10.16.2.194 hadoop02 10.16.2.193 hadoop03 -
关闭SELINUX
# 编辑文件 vim /etc/selinux/config # 将SELINUX的值改为disabled SELINUX=disabled -
重启
reboot -
免密互通
# 产生密钥 ssh-keygen # 拷贝公钥 ssh-copy-id root@hadoop01 ssh-copy-id root@hadoop02 ssh-copy-id root@hadoop03 # 测试 ssh hadoop01 # 如果不需要密码，则输入logout ssh hadoop02 # 如果不需要密码，则输入logout ssh hadoop03 # 如果不需要密码，则输入logout -
进入软件预安装目录，上传或者下载Hadoop安装包
cd /opt/presoftware/ # 上传或者下载Hadoop安装包 -
解压
tar -xvf hadoop-3.2.4.tar.gz -C /opt/software/ -
进入Hadoop的配置目录
cd /opt/software/hadoop-3.2.4/etc/hadoop/ -
编辑文件
# 编辑文件 vim hadoop-env.sh # 在文件中添加 export JAVA_HOME=/opt/software/jdk1.8 export HADOOP_CONF_DIR=/opt/software/hadoop-3.2.4/etc/hadoop # 保存退出，生效 source hadoop-env.sh -
编辑文件
vim core-site.xml在文件中添加
<!-- 指定NameNode的地址 --> <property> <name>fs.default.name</name> <value>hdfs://hadoop01:9000</value> </property> <!-- 指定hadoop数据的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/software/hadoop-3.2.4/tmp</value> </property> <!-- 配置HDFS网页登录使用的静态用户为root --> <property> <name>hadoop.http.staticuser.user</name> <value>root</value> </property> <!-- 配置root用户允许通过代理访问的主机节点 --> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <!-- 配置root允许通过代理用户所属组 --> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property> <!-- 配置root允许通过代理的用户--> <property> <name>hadoop.proxyuser.root.users</name> <value>*</value> </property> -
编辑文件
vim hdfs-site.xml在文件中添加
<!-- NameNode web端访问地址--> <property> <name>dfs.namenode.http-address</name> <value>hadoop01:9870</value> </property> <!-- SecondaryNameNode web端访问地址--> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop02:9868</value> </property> <!-- 测试环境指定HDFS副本的数量1 --> <property> <name>dfs.replication</name> <value>1</value> </property> -
编辑文件
vim mapred-site.xml在文件中添加
<!-- 指定MapReduce程序运行在Yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <!--指定MapReduce的运行环境--> <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=/opt/software/hadoop-3.2.4</value> </property> <property> <name>mapreduce.map.env</name> <value>HADOOP_MAPRED_HOME=/opt/software/hadoop-3.2.4</value> </property> <property> <name>mapreduce.reduce.env</name> <value>HADOOP_MAPRED_HOME=/opt/software/hadoop-3.2.4</value> </property> -
编辑文件
vim yarn-site.xml在文件中添加
<!-- 指定MapReduce走shuffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定ResourceManager的地址--> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop03</value> </property> <!-- 环境变量的继承 --> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> </property> <!-- yarn容器允许分配的最小内存 --> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>512</value> </property> <!-- yarn容器允许分配的最大内存 --> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>4096</value> </property> <!-- yarn容器允许管理的物理内存大小 --> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>4096</value> </property> <!-- 关闭yarn对物理内存的限制检查 --> <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property> <property> <!-- 关闭yarn对虚拟内存的限制检查 --> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> -
编辑文件
# 在Hadoop3中，这个文件是workers，在Hadoop2中，这个文件slaves vim workers # 添加自己的主机名 hadoop01 hadoop02 hadoop03 -
进入Hadoop的命令目录
cd /opt/software/hadoop-3.2.4/sbin/ -
修改文件
vim start-dfs.sh # 在文件头部添加 HDFS_NAME_USER=root HDFS_SECONDARYNAMENODE_USER=root HDFS_DATANODE_USER=root HDFS_DATANODE_SECURE_USER=root
18. 修改文件
vim stop-dfs.sh
# 在文件头部添加
HDFS_NAME_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=root 19. 修改文件
vim start-yarn.sh
# 在文件头部添加
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
HDFS_DATANODE_SECURE_USER=root 20. 修改文件
vim stop-yarn.sh
# 在文件头部添加
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
HDFS_DATANODE_SECURE_USER=root Hadoop三台节点分布式安装到此结束。
602
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
