hadoop大数据平台

最新推荐文章于 2024-04-15 19:58:00 发布
最新推荐文章于 2024-04-15 19:58:00 发布
阅读量403 收藏 1
点赞数
分类专栏： Linux企业级 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51140575/article/details/116081992
版权

一.hadoop简介

Hadoop的框架最核心的设计就是：HDFS和MapReduce。

  • HDFS为海量的数据提供了存储。
  • MapReduce为海量的数据提供了计算。

Hadoop框架包括以下四个模块：

  • Hadoop Common: 这些是其他Hadoop模块所需的Java库和实用程序。这些库提供文件系统和操作系统级抽象，并包含启动Hadoop所需的Java文件和脚本。
  • Hadoop YARN: 这是一个用于作业调度和集群资源管理的框架。
  • Hadoop Distributed File System (HDFS): 分布式文件系统，提供对应用程序数据的高吞吐量访问。
  • Hadoop MapReduce：这是基于YARN的用于并行处理大数据集的系统。

hadoop应用场景：

  • 在线旅游
  • 移动数据
  • 电子商务
  • 能源开采与节能
  • 基础架构管理
  • 图像处理
  • 诈骗检测
  • IT安全
  • 医疗保健

HDFS文件存储

  • HDFS属于Master与Slave结构。一个集群中只有一个NameNode，可以有多个DataNode。
  • HDFS存储机制保存了多个副本，当写入1T文件时，我们需要3T的存储，3T的网络流量带宽；系统提供容错机制，副本丢失或宕机可自动恢复，保证系统高可用性。
  • HDFS默认会将文件分割成block。然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中。如果小文件太多，会导致内存的负担很重。
  • HDFS采用的是一次写入多次读取的文件访问模型。一个文件经过创建、写入和关闭之后就不需要改变。这一假设简化了数据一致性问题，并且使高吞吐量的数据访问成为可能。
  • HDFS存储理念是以最少的钱买最烂的机器并实现最安全、难度高的分布式文件系统（高容错性低成本），HDFS认为机器故障是种常态，所以在设计时充分考虑到单个机器故障，单个磁盘故障，单个文件丢失等情况。

HDFS容错机制

  • 节点失败监测机制：DN每隔3秒向NN发送心跳信号，10分钟收不到，认为DN宕机。
  • 通信故障监测机制：只要发送了数据，接收方就会返回确认码。
  • 数据错误监测机制：在传输数据时，同时会发送总和校验码。

二. hadoop集群

本地（独立）式

[root@Server1 ~]# useradd hadoop
[root@Server1 ~]# su - hadoop

需要的包
在这里插入图片描述

[hadoop@Server1 ~]$ tar zxf jdk-8u181-linux-x64.tar.gz 
[hadoop@Server1 ~]$ ln -s jdk1.8.0_181/ java
[hadoop@Server1 ~]$ tar zxf hadoop-3.2.1.tar.gz 
[hadoop@Server1 ~]$ ln -s hadoop-3.2.1 hadoop

[hadoop@Server1 ~]$ cd hadoop
[hadoop@Server1 hadoop]$ cd etc/hadoop/
[hadoop@Server1 hadoop]$ vim hadoop-env.sh

在这里插入图片描述

[hadoop@Server1 hadoop]$ cd ..
[hadoop@Server1 etc]$ cd ..
[hadoop@Server1 hadoop]$ mkdir input
[hadoop@Server1 hadoop]$ cp etc/hadoop/*.xml input
[hadoop@Server1 hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar
[hadoop@Server1 hadoop]$ cd output/
[hadoop@Server1 output]$ ls
[hadoop@Server1 output]$ cat *

在这里插入图片描述

伪分布式

[hadoop@Server1 hadoop]$ cd etc/hadoop/
[hadoop@Server1 hadoop]$ vim core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

在这里插入图片描述

[hadoop@Server1 hadoop]$ vim hdfs-site.xml

在这里插入图片描述

[root@server1 ~]# echo westos | passwd --stdin hadoop
[root@Server1 ~]# su - hadoop
[hadoop@Server1 ~]$ ssh-keygen
[hadoop@Server1 ~]$ ssh-copy-id localhost
[hadoop@Server1 hadoop]$ pwd
/home/hadoop/hadoop
[hadoop@Server1 hadoop]$ bin/hdfs namenode -format
[hadoop@Server1 hadoop]$ sbin/start-dfs.sh 

[hadoop@Server1 ~]$ vim .bash_profile

在这里插入图片描述

[hadoop@Server1 ~]$ source .bash_profile
[hadoop@Server1 hadoop]$ jps

在这里插入图片描述

[hadoop@Server1 hadoop]$ bin/hdfs dfs -mkdir /user
[hadoop@Server1 hadoop]$ bin/hdfs dfs -mkdir /user/hadoop
[hadoop@Server1 hadoop]$ rm -rf input/
[hadoop@Server1 hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount input output
[hadoop@Server1 hadoop]$ bin/hdfs -get output

[hadoop@Server1 hadoop]$ rm -rf output/
[hadoop@Server1 hadoop]$ bin/hdfs dfs -rm output

完全分布式

[hadoop@Server1 hadoop]$ sbin/stop-dfs.sh
[hadoop@Server1 hadoop]$ yum install -y nfs-utils
[root@server1 ~]# vim /etc/exports
/home/hadoop    *(rw,anonuid=1000,anongid=1000)

[root@Server1 ~]# systemctl start nfs
[root@Server1 ~]# showmount -e

在这里插入图片描述

创建server2、3、4，做以下操作

[root@server2 ~]# useradd hadoop
[root@server2 ~]# echo westos | passwd --stdin hadoop
[root@server2 ~]# yum install -y nfs-utils
[root@server2 ~]# showmount -e 172.25.4.1
[root@server2 ~]# mount 172.25.4.1:/home/hadoop/ /home/hadoop/

在这里插入图片描述

[hadoop@server1 hadoop]$ cd etc/hadoop/
[hadoop@server1 hadoop]$ vim core-site.xml

在这里插入图片描述

[hadoop@server1 hadoop]$ vim hdfs-site.xml

在这里插入图片描述

[hadoop@server1 hadoop]$ vim workers
server2
server3
server4

[hadoop@server1 hadoop]$ rm -rf /tmp/*
[hadoop@server1 hadoop]$ cd ..
[hadoop@server1 etc]$ cd ..
[hadoop@server1 hadoop]$ bin/hdfs namenode -format
[hadoop@server1 hadoop]$ sbin/start-dfs.sh
[hadoop@server1 hadoop]$ jps

在这里插入图片描述

[hadoop@server1 hadoop]$ dd if=/dev/zero of=bigfile bs=1M count=200
[hadoop@server1 hadoop]$ bin/hdfs dfsadmin -report
[hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir /user
[hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir /user/hadoop
[hadoop@server1 hadoop]$ bin/hdfs dfs -put bigfile

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

[hadoop@server4 hadoop]$ bin/hdfs --daemon start datanod
[hadoop@server4 hadoop]$ jps

在这里插入图片描述
在这里插入图片描述

[hadoop@server4 hadoop]$ mv bigfile demo
[hadoop@server4 hadoop]$ bin/hdfs dfs -put demo

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

三.hadoop高可用

五个虚拟机
server1、5作为master
srever2、3、4作为一个集群

server2、3、4、5 nfs文件共享server1

停止所有的hadoop进程，清除每个主机下/tmp/下的所有数据

需要的包

在这里插入图片描述

[hadoop@server1 ~]$ tar zxf zookeeper-3.4.9.tar.gz
[hadoop@server1 ~]$ cd zookeeper-3.4.9/conf
[hadoop@server1 conf]$ cp zoo_sample.cfg zoo.cfg
[hadoop@server1 conf]$ vim zoo.cfg
server.1=172.25.4.2:2888:3888
server.2=172.25.4.3:2888:3888
server.3=172.25.4.4:2888:3888

在这里插入图片描述

[hadoop@server1 conf]$ mkdir /tmp/zookeeper

[hadoop@server2 ~]$ mkdir /tmp/zookeeper
[hadoop@server2 ~]$ echo 1 > /tmp/zookeeper/myid
[hadoop@server2 ~]$ cd zookeeper-3.4.9/
[hadoop@server2 zookeeper-3.4.9]$ bin/zkServer.sh start

[hadoop@server3 ~]$ mkdir /tmp/zookeeper
[hadoop@server3 ~]$ echo 2 > /tmp/zookeeper/myid
[hadoop@server2 ~]$ cd zookeeper-3.4.9/
[hadoop@server4 zookeeper-3.4.9]$ bin/zkServer.sh start

[hadoop@server4 ~]$ mkdir /tmp/zookeeper
[hadoop@server4 ~]$ echo 3 > /tmp/zookeeper/myid
[hadoop@server4 ~]$ cd zookeeper-3.4.9/
[hadoop@server4 zookeeper-3.4.9]$ bin/zkServer.sh start

[hadoop@server1 ~]$ cd hadoop/etc/hadoop/
[hadoop@server1 hadoop]$ vim core-site.xml
<configuration>
        <property>
        <name>fs.defaultFS</name>
        <value>hdfs://masters</value>
    </property>

<property>
<name>ha.zookeeper.quorum</name>
<value>172.25.4.2:2181,172.25.4.3:2181,172.25.4.4:2181</value>
</property>

</configuration>

在这里插入图片描述

[hadoop@server1 hadoop]$ vim hdfs-site.xml
<configuration>
        <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

<property>
<name>dfs.nameservices</name>
<value>masters</value>
</property>

<property>
<name>dfs.ha.namenodes.masters</name>
<value>h1,h2</value>
</property>

<property>
<name>dfs.namenode.rpc-address.masters.h1</name>
<value>172.25.4.1:9000</value>
</property>

<property>
<name>dfs.namenode.http-address.masters.h1</name>
<value>172.25.4.1:9870</value>
</property>

<property>
<name>dfs.namenode.rpc-address.masters.h2</name>
<value>172.25.4.5:9000</value>
</property>

<property>
<name>dfs.namenode.http-address.masters.h2</name>
<value>172.25.4.5:9870</value>
</property>

<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://172.25.4.2:8485;172.25.4.3:8485;172.25.4.4:8485/masters</value>
</property>

<property>
<name>dfs.journalnode.edits.dir</name>
<value>/tmp/journaldata</value></property>

<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

<property>
<name>dfs.client.failover.proxy.provider.masters</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>

<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>

<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

[hadoop@server2 hadoop]$ bin/hdfs --daemon start journalnode
[hadoop@server3 hadoop]$ bin/hdfs --daemon start journalnode
[hadoop@server4 hadoop]$ bin/hdfs --daemon start journalnode

[hadoop@server1 hadoop]$ bin/hdfs namenode -format
[hadoop@server1 hadoop]$ scp -r /tmp/hadoop-hadoop 172.25.0.5:/tmp
[hadoop@server1 hadoop]$ bin/hdfs zkfc -formatZK
[hadoop@server1 hadoop]$ sbin/start-dfs.sh
bw-1111
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据平台运维（hadoop入门（保姆篇））----概述及基本环境配置(HA-1)
weixin_62875153的博客
12-04 2794
大数据运维基础
大数据Hadoop平台搭建(Apache)
weixin_43929380的博客
04-07 682
Hadoop环境搭建 一、节点详情 服务器 配置 组件 hadoop101 8核/16.0GB QuorumPeerMain,PrestoServer,Kafka,DataNode,NodeMananger,worker(spark) hadoop102 8核/16.0GB QuorumPeerMain,PrestoServer(coordernary),Kafka,Secon...
31学习大数据平台 Hadoop 的基本概念和架构，包括 HDFS、MapReduce
玩机科技社的博客
04-01 1676
MapReduce是一种分布式计算框架，可以将大规模数据集的计算任务划分成多个小的计算任务并行处理，然后将结果合并生成最终的输出结果。的函数，这个函数接受一个文件名作为参数，然后打开文件并逐行读取文件内容。对于每一行的内容，我们将其去除行末的换行符并分割单词，然后遍历每个单词，将其作为键，值设置为 1。首先是 Map 阶段，我们需要将文本文件中的每个单词作为键，出现的次数作为值进行计数。MapReduce 是 Hadoop 中的一种计算框架，它能够将大规模的数据集并行处理，以支持大规模数据的处理和分析。
大数据之Hadoop图解概述(1)，网易架构师深入讲解大数据开发开发
最新发布
2401_84181253的博客
04-15 1053
1）NameNode（nn）：存储文件的。
Hadoop大数据通用处理平台
大数据Hadoop学习
12-11 593
Hadoop是一款开源的大数据通用处理平台，其提供了分布式存储和分布式离线计算，适合大规模数据、流式数据(写一次,读多次)，不适合低延时的访问、大量的小文件以及频繁修改的文件。 *Hadoop由HDFS、YARN、MapReduce组成。 如果想学习Java工程化、高性能及分布式、深入浅出。微服务、Spring，MyBatis，Netty源码分析的朋友可以加我的Java高级交流：8546301...
大数据技术学习笔记三--Apache Hadoop
wait me的博客
05-31 330
Apache Hadoop组成 Hadoop HDFS：（Hadoop Distribute File System ）一个高可靠、高吞吐量的分布式文件系统 处理的状态简述：将数据进行切割， 为防止数据出现问题，则制作副本，分散存储 NameNode（nn）：存储文件的元数据，比如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。（NameNode相当于管理和维护元数据；元数据记录了文件的块列表以及块所在的DataNode节点信息，如同maste
hadoop大数据平台技术与应用 --课后习题参考答案.pdf
07-14
hadoop大数据平台技术与应用 --课后习题参考答案.pdf
Hadoop大数据开发基础.rar
10-14
文档为PPT，与百度文库里的Hadoop大数据开发基础为一套，里面内容相对比较基础~可做基础学习资料PPT。 【实例截图】 【核心代码】 Hadoop大数据开发基础-PPT课件 └── 37066-Hadoop大数据开发基础-PPT课件 ├── ...
HADOOP大数据平台系统思路流程图
06-17
HADOOP大数据平台系统思路流程图 基于HADOOP大数据平台系统思路流程图，我们可以总结出以下知识点： 1. HADOOP大数据平台系统架构 HADOOP大数据平台系统架构主要包括HDFS（Hadoop Distributed File System）、...
Hadoop大数据平台-集成实施方案.docx
10-14
Hadoop大数据平台集成实施方案 Hadoop大数据平台集成实施方案是指基于Hadoop的大数据平台的技术方案、集成实施方案、项目实施与管理等相关内容的整合方案。该方案旨在为大数据平台的建设和实施提供一个完善的解决...
《Hadoop大数据平台构建与应用》_米洪等_2018-02-01.pdf
05-22
《Hadoop大数据平台构建与应用》_米洪
hadoop 大数据平台
11-18
hadoop 发展 大数据 大数据平台 hadoop 环境
Hadoop大数据平台构建、规划大数据平台集群教学课件.pptx
06-21
规划Hadoop大数据平台集群 Hadoop集群的三种模式 单机模式 在单机上运行。 没有分布式文件系统，直接读写本地操作系统。 伪分布模式 在单机上运行。 使用分布式文件系统。 hadoop集群只有一个节点，因此hdfs的块复制...
Hadoop大数据平台构建、HDFS配置、启动与验证教学课件.pptx
06-20
HDFS配置、启动与验证 HDFS配置、启动与验证 序号 任务名称 任务一 Hadoop安装及JDK环境变量配置 任务二 HDFS组件参数配置 ...配置JDK环境变量，修改 hadoop解压缩后 etc 目录下的 hadoop-env.sh、mapred-e
Hadoop大数据平台架构与实践
02-24
可靠的、可扩展的、分布式计算开源软件。ApacheHadoop软件库是一个框架，允许使用简单的编程模型，在...HadoopYARN:作业调度和集群资源管理的框架。HadoopMapReduce:基于YARN的大型数据集并行处理系统。Linux操作系
Hadoop大数据平台
weixin_44992260的博客
08-15 1595
目录一. Hadoop简介1 hadoop的演变2 hadoop的简介3 工作原理Nn和Dn节点故障/网络故障/数据块损坏RM:resourcemanager二. hadoop工作模式1 伪分布式2 完全分布式三. yarn 调度四. hadoop高可用1 zookeeper集群2 hdfs高可用3 yarn 高可用4 hbase 高可用 操作参考手册：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/Singl.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值