Hadoop

最新推荐文章于 2024-07-15 10:16:37 发布
最新推荐文章于 2024-07-15 10:16:37 发布
阅读量742 收藏
点赞数 1
分类专栏： Big Data 文章标签： hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_50957727/article/details/123205372
版权

大数据简介

6V特点

  1. Volume：数据体量打。在中小型企业中，数据量一般在TB级别；大型企业中，数据量在PB级别
  2. Variety：数据的来源、种类和样式多
    1. 来源：数据库、爬虫、网页埋点、手动录入等
    2. 种类：文本、图片、音频、视频、流媒体等
    3. 样式：结构化数据、半结构化数据、非结构化数据
  3. Velocity：数据的增长速度越来越快。随着网络的发展，数据的产生、传播的增长速度逐渐变快。根据专家们的预测，全球的总数据量以后会以每3-5年翻一番的速度增长
  4. Value：数据的价值密度越来越低。价值密码指的是需要的数据在总数据量中的占比。数据的价值密度在变低，但是不意味着获取到的数据在变少，只是需要的数据的增长速度比不上样本总量的增长速度
  5. Veracity：数据的质量/真实性。随着网络的发展，信息流通变得越来越便利，导致网上数据的质量变得良莠不齐
  6. Valence：数据的连通性。随着大数据的发展，衍生出来越爱越多的产业，需要考虑大数据中不同产业之间的关联
  7. 其他：动态性(Vitality)、可视化(Visualization)、合法性(Validity - 过度索权，大数据杀熟等)

Hadoop简介

概述

  1. Hadoop是Yahoo!公司开发的后来贡献给了Apache的一套开源的、可靠的、可扩展的分布式框架
  2. Hadoop提供了简单的编程模型来对大量的数据进行分布式计算
  3. Hadoop能够轻松的从一台服务器扩展到上千台服务器，每一台服务器都能进行存储和计算
  4. Hadoop提供了探测和处理异常的机制来保证高可用
  5. Hadoop之父：Doug Cutting(道格.卡汀)
  6. Hadoop的版本非常混乱，导致依赖Hadoop的其他框架和组件之间也非常乱 - Hadoop2.x和Hadoop1.x不兼容，Hadoop3.x和Hadoop2.x部分兼容

模块

  1. Hadoop Commin：公共模块
  2. Hadoop Distributed File System(HDFS)：分布式文件存储系统
  3. Hadoop YARN：任务调度和集群资源管理
  4. Hadoop MapReduce：基于YARN的分布式计算系统

搭建

  1. 安装JDK1.8

    vim  /etc/profile.d/javahome.sh

export JAVA_HOME=/home/java1.8
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile.d/javahome.sh

  2. 关闭防火墙

    # 临时关闭
systemctl stop firewalld
# 永久关闭
systemctl disable firewalld

  3. 在Hadoop集群中，不建议主机名中出现 - 或者 _，所以需要修改主机名

    vim /etc/hostname
# 修改对应的主机名，例如分别为 Hadoop01 Hadoop02 Hadoop03

  4. 将主机名和IP进行映射

    vim /etc/hosts
#添加 IP 主机名，例如
192.168.65.107 hadoop01
192.168.65.108 hadoop02
192.168.65.109 hadoop03

  5. 关闭SELINUX

    vim /etc/sysconfig/selinux
#修改SELINUX的值为disabled
SELINUX=disabled

  6. 重启

    reboot

  7. 免密登录

    # 产生密钥
ssh-keygen
# 拷贝公钥
ssh-copy-id root@hadoop01
# 回车之后，输入yes确定连接，然后回车输入密码
ssh hadoop01
# 回车之后如果不需要密码，说明已经免密登录成功，输入logout退出登录
ssh-copy-id root@hadoop02
ssh hadoop02
ssh-copy-id root@hadoop03
ssh hadoop03

  8. 进入安装目录，下载Hadoop安装包

    cd /home/software
# 下载
curl -O https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz
# 解压
tar -xvf hadoop-3.1.3.tar.gz

  9. 进去Hadoop的配置目录

    cd hadoop-3.1.3/etc/hadoop/

  10. 编辑文件

    vim hadoop-env.sh
# 在文件中添加
export JAVA_HOME=/home/software/jdk1.8
export HADOOP_CONF_DIR=/home/software/hadoop-3.1.3/etc/hadoop
# 保存退出，重新生效
source hadoop-env.sh

  11. 编辑文件

    vim core-site.xml 

    <--HDFS的服务地址-->
<property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop01:9000</value>
</property>
<--数据存储路径-->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/software/hadoop-3.1.3/tmp</value>
</property>
<--代理用户-->
<property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
</property>
<--代理主机-->
<property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
</property>
<--代理用户组-->
<property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
</property>

  12. 编辑文件

    vim hdfs-site.xml

    在文件中添加：

    <!--NameNode的访问地址-->
<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop01:9870</value>
</property>
<!--SecondaryNameNode访问地址-->
<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop02:9868</value>
</property>
<!--副本数量-->
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>

  13. 编辑文件

    vim mapred-site.xml

    在文件中添加

    <!--MapReduce的调度框架-->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<!--yarn的运行环境-->
<property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=/home/software/hadoop-3.1.3</value>
</property>
<!--MapTask运行环境-->
<property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=/home/software/hadoop-3.1.3</value>
</property>
<!--ReduceTask运行环境-->
<property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=/home/software/hadoop-3.1.3</value>
</property>

  14. 编辑文件

    vim yarn-site.xml

    在配置文件中添加：

    <!--Shuffle-->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<!--ResourceManager地址-->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop03</value>
</property>
<!--NodeManager环境变量白名单-->
<property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_MAPRED_HOME,HADOOP_CONF_DIR,HADOOP_YARN_HOME,CLASSPATH_PREPEND_DISTCACHE</value>
</property>
<!--yarn容器分配的最小容量-->
<property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
</property>
<!--yarn容器分配的最大容量-->
<property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
</property>
<!--物理内存大小-->
<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
</property>
<!--关闭物理内存检查-->
<property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
</property>
<!--关闭虚拟内存检查-->
<property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>

  15. 编辑文件

    vim workers
# 删除里面的localhost,将三台主机的主机名添加进去
hadoop01
hadoop02
hadoop03

  16. 进去扩展命令目录

    cd /home/software/hadoop-3.1.3/sbin/

  17. 编辑文件

    vim start-dfs.sh
# 在文件头部添加
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=root

  18. 编辑文件

    vim stop-dfs.sh
# 在文件头部添加
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=root

  19. 编辑文件

    vim start-yarn.sh
# 在文件头部添加
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
HDFS_DATANODE_SECURE_USER=root

  20. 编辑文件

    vim stop-yarn.sh
# 在文件头部添加
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
HDFS_DATANODE_SECURE_USER=root

历史服务

  1. 编辑文件

    cd /home/software/hadoop-3.1.3/etc/hadoop/
vim mapred-site.xml

  2. 在文件末尾添加

    <!--历史服务器地址-->
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop02:10020</value>
</property>
<!--历史服务器的web访问地址-->
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop02:19888</value>
</property>

日志汇聚

  1. 编辑文件

    vim yarn-site.xml

  2. 在文件中添加

    <!--开启日志汇聚-->
<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
</property>
<!--历史服务器地址-->
<property>
        <name>yarn.log.server.url</name>
        <value>http://hadoop02:19888/jobhistory/logs</value>
</property>
<!--日志保留时间-->
<property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
</property>

分发和启动

  1. 远程分发

    cd /home/software/
scp -r hadoop-3.1.3 root@hadoop02:$PWD
scp -r hadoop-3.1.3 root@hadoop03:$PWD

  2. 配置环境变量

    vim /etc/profile.d/hadoophome.sh
# 在文件中添加
export HADOOP_HOME=/home/software/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# 保存退出，重新生效
source /etc/profile.d/hadoophome.sh

  3. 校验环境变量是否配置正确

    hadoop version

  4. 第一次启动Hadoop之前，需要先进行格式化

    hdfs namenode -format

    如果出现Storage directory /home/software/hadoop-3.1.3/tmp/dfs/name has been successfully formatted则表示格式化成功

  5. 在第一个节点上启动HDFS

    start-dfs.sh

  6. 在第三个节点上启动YARN

    start-yarn.sh

  7. 在第二个节点上启动历史服务器

    mapred --daemon start historyserver

  8. 通过jps命令查看

    # 第一个节点上
Jps
NodeManager
DataNode
NameNode
# 在第二个节点上
SecondaryNameNode
Jps
NodeManager
DataNode
JobHistoryServer
# 在第三个节点上
Jps
DataNode
ResourceManager
NodeManager

注意问题

  1. 如果Command not found，那么说明环境变量配置错误，或者配置之后没有进行source

  2. 如果启动之后，发现缺少了进行，那么可以通过对应的命令来试着单独启动

    hdfs --daemon start namenode
hdfs --daemon start datanode
hdfs --daemon start secondarynamenode
yarn --daemon start resourcemanager
yarn --daemon start nodemanager
mapred --daemon start historyserver

  3. 如果单独启动依然失败，那么查看/home/software/hadoop-3.1.3/logs/hadoop-root-xxx-xxx.log，在这个日志文件中来查看启动失败的原因

搭建方式

  1. 单机模式：在一台服务器上安装，只能启动MapReduce模块
  2. 伪分布式：在一台服务器上安装，通过多个进程来模拟集群环境，启动Hadoop的大部分服务
  3. 完全分布式(非高可用)：在集群上安装，能够启动Hadoop的所有模块
  4. 完全分布式(高可用)：在上诉方式的基础上保证集群的运行
卑微前端汪
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Hadoop整体框架
爱吃串串的瘦子的博客
07-17 1万+
大数据框架 目录 大数据框架 一、Hodoop 四大组件：HDFS/MapReduce/YARN/Common 二、Zookeeper 三、Hive 四、Spark 五、ETL 六、ngnix 七、Redis 八、Oracle 十一、Jsp/node.js/JQueryEcharts 一、hadoop http://blog.csdn.net/huanglong8/...
安装Hadoop2.10.1
慕诡的博客
04-22 5127
文章目录 前言 通过在Hadoop1安装Hadoop,然后配置相应的配置文件，最后将Hadoop 所有文件同步到其他Hadoop节点。 一、集群规划 #主机名 ‘master/hadoop1’ ‘slave01/hadoop2’ ‘slave02/hadoop3’ #启动节点 Namenode Nodemanager Nodemanager Resourcemanager
Java基于Hadoop及微服务架构的前后端分离购物系统（源码）
Java笔记
09-20 4188
基于Hadoop及微服务架构的前后端分离购物系统。前台购物页面使用Vue+ElementUi,后台管理页面使用html和Ajax。后端使用Spring Boot+Spring Cloud+Nacos+OpenFeign+Spring Cloud GateWay+MyBatis进行开发，使用Shiro做登录验证和权限校验，使用支付宝的沙箱环境进行支付，使用ElasticSearch作为商品搜索服务，使用Hadoop的HDSF作为图片存储服务器，使用Spring Sessio
Hadoop完整解析
sunnygod的博客
12-26 7万+
1：首先了解一下Hadoop是什么以及能为我们做些什么 https://blog.csdn.net/zhang123456456/article/details/77657807 2：Hadoop的安装方式 ！！！注意点： 为了保证远程云主机的内网地址本地可见 需要配置VPN访问 这也是为什么无法实现本地配置eclipse远程访问阿里云云主机HDFS存储系统的原因 &amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;lt;1&amp;amp;amp;am
hadoop各个版本的介绍，以及他们的区别
wyqwilliam的博客
09-11 1万+
             
【Hadoop】Windows下安装Hadoop（手把手包成功安装）
tttzzzqqq2018的博客
07-26 2万+
【实操】Windows下安装Hadoop（手把手包成功安装）
Hadoop大数据集群搭建（超详细）
小飞飞V5的博客
05-21 3万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
Hadoop集群搭建（超级详细）
热门推荐
qq_43650672的博客
05-07 7万+
本文略长，希望各位大佬见谅！！！ 需要的安装包：jdk-8u162-linux-x64.tar.gz（ 提取码：6k1i ）、hadoop-3.1.3.tar.gz（ 提取码：07p6 ） 1 集群规划 安装VMware，使用三台Ubuntu18.04虚拟机进行集群搭建，下面是每台虚拟机的规划： 主机名 IP 用户 HDFS YARN hadoopMaster 待定 rmc0924 NameNode、DataNode NodeManager、ResourceManager hado
Hadoop入门
weixin_58202386的博客
04-20 2801
一. 概念 二.环境准备 三.Hadoop生产集群搭建 四. 常见问题的解决方法
hadoop3.3.4 winutils
12-18
Hadoop是大数据处理领域的重要框架，它以分布式计算模型为基础，提供高可靠性和高扩展性的数据存储和处理能力。在Windows环境下配置和运行Hadoop通常比在Linux上更为复杂，因为Hadoop最初是为Unix-like系统设计的。...
docker配置hadoop
09-28
001
hadoop3.3.3-winutils
07-19
hadoop基于linux开发和布署运行，故不能将hadoop环境原始运行在windows上。 操作系统环境差异说明 因为模拟linux环境,所以在linux原生环境中就不需要他了 在windows环境中需要配置 如何配置: 配置到运行环境当前目录...
hadoop-3.4.0.tar.gz
04-22
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File ...
Hadoop3.1.3.rar
06-02
Hadoop是Apache软件基金会开发的一个开源分布式计算框架，它的核心设计是处理和存储大量数据的能力。这个名为"Hadoop3.1.3.rar"的压缩包文件包含了Hadoop 3.1.3版本的所有组件和相关文件，使得用户可以下载并进行...
hadoop学习
言之。
07-04 1万+
安装 下载hadoop2.10.1(清华源) 解压 tar -zxvf hadoop.tar.gz 配置环境变量 vim /etc/profile export JAVA_HOME=... export HADOOP_HOME=... export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile 如果是yum安装的java, 查看JAVA_HOME https://www.cnblogs.
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
最新发布
永远好奇，无限进步！
07-15 285
上一节完成了ZK的命令操作：创建、读取、删除节点等操作。本节用JavaAPI进行操作，实现创建、删除、监听节点、监听变化等操作。这里是三台公网云服务器，每台 2C4G，搭建一个Hadoop的学习环境，供我学习。之前已经在 VM 虚拟机上搭建过一次，但是没留下笔记，这次趁着前几天薅羊毛的3台机器，赶紧尝试在公网上搭建体验一下。2C4G 编号 h1212C4G 编号 h1222C2G 编号 h123。
基于Hadoop的区块链海量数据存储的设计与实现
qq_36463299的博客
07-12 876
本文基于Hadoop技术，探讨了如何设计和实现基于区块链的海量数据存储系统。随着区块链技术的快速发展和广泛应用，大量的数据需要被存储和管理。然而，由于区块链的去中心化和不可篡改性质，传统的数据库技术在处理海量数据时遇到了困难。因此，利用Hadoop这一成熟的分布式存储和处理框架，本文提出了一种可扩展的区块链海量数据存储方案。首先，本文介绍了区块链和Hadoop技术的基本概念和原理，分析了它们在存储海量数据时存在的问题。然后，针对这些问题，提出了一种基于Hadoop的区块链数据存储架构。
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
永远好奇，无限进步！
07-15 306
上节我们完成了：ZNode的基本介绍、ZNode节点类型、介绍事务ID、ZNode实机测试效果。本节我们简单学习Watcher机制和一些ZK的基础命令。背景介绍这里是三台公网云服务器，每台 2C4G，搭建一个Hadoop的学习环境，供我学习。之前已经在 VM 虚拟机上搭建过一次，但是没留下笔记，这次趁着前几天薅羊毛的3台机器，赶紧尝试在公网上搭建体验一下。
hadoop分布计算配置.pptx
10-21
"这是关于Hadoop分布式计算配置的培训材料，主要涵盖了Hadoop集群的基本配置，包括`core-site.xml`, `hdfs-site.xml`, `mapred-site.xml`的设置，以及masters和slaves文件的配置，还有集群的启动和验证过程。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

卑微前端汪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值