Hadoop
文章平均质量分 79
modi_2020
这个作者很懒,什么都没留下…
展开
-
大数据技术之 Hadoop(HDFS)
HDFS 概述1.1 HDFS 产出背景及定义1)HDFS 产生背景 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系 统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这 就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。2)HDFS 定义 HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目 录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集原创 2021-03-22 00:17:02 · 694 阅读 · 0 评论 -
Hadoop集群启动/停止方式
1.各个模块分开启动/停止(配置 ssh 是前提)(1)整体启动/停止 HDFS start-dfs.sh/stop-dfs.sh(2)整体启动/停止 YARN start-yarn.sh/stop-yarn.sh2. 各个服务组件逐一启动/停止(1)分别启动/停止 HDFS 组件 hdfs --daemon start/stop namenode/datanode/secondarynamenode(2)启动/停止 ...原创 2021-03-20 23:13:39 · 1561 阅读 · 0 评论 -
Hadoop简介和集群搭建测试(一)
Hadoop的优势有四高:(1) 高可用:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元 素或存储出现故障,也不会导致数据的丢失(2) 高扩展: 在集群间分配任务数据,可方便的扩展数以千计的节点(3) 高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处 理速度(4) 高容错性:能够自动将失败的任务重新分配。Hadoop组成:HDFS 架构概述:Hadoop Distributed File System,简称 HDFS,是...原创 2021-03-20 23:01:25 · 739 阅读 · 0 评论 -
手动模式构建双 Namenode+Yarn 的 Hadoop 集群(下)
4. NameNode 与 Yarn 基础配置文件功能解读NameNode 与 Yarn 的配置中涉及的配置文件有多个,并且每个配置文件中参数众多,因此,如何设置合理的配置参数是部署 Hadoop 集群的难点。不过,Hadoop 集群有个配置原则,那就是重写配置、覆盖默认,否则默认生效。也就是说 Hadoop 的大部分配置参数都有默认值,如果在配置文件中设置了参数值时,那么默认值失效,否则生效。这个原则的存在,使我们不需要对每个参数都进行配置,只需要对一些重要的基础参数进行配置即可。所以,在下面的配原创 2021-02-04 00:37:34 · 400 阅读 · 0 评论 -
hadoop入门 启动 journalnode报错
启动journalnode报错如下[hadoop@salve001 ~]$ hdfs --daemon start journalnodeERROR: Cannot set priority of journalnode process 74165[hadoop@salve001 ~]$查看报错日志提示2021-02-03 10:42:05,421 ERROR org.apache.hadoop.hdfs.qjournal.server.JournalNode: Failed to s.原创 2021-02-03 23:56:47 · 8110 阅读 · 3 评论 -
手动模式构建双 Namenode+Yarn 的 Hadoop 集群(上)
双 NameNode 实现原理与应用架构1. 什么是双 NameNode在分布式文件系统 HDFS 中,NameNode 是 master 角色,当 NameNode 出现故障后,整个 HDFS 将不可用,所以保证 NameNode 的稳定性至关重要。在 Hadoop1.x 版本中,HDFS 只支持一个 NameNode,为了保证稳定性,只能靠 SecondaryNameNode 来实现,而 SecondaryNameNode 不能做到热备,而且恢复的数据也不是最新的元数据。基于此,从 Hadoop原创 2021-02-03 00:50:05 · 609 阅读 · 0 评论 -
自动化运维工具 Ansible 在部署大数据平台下的应用(下)
1. playbook 简介与文件格式playbook 字面意思是剧本,现实中由演员按照剧本表演,在 Ansible 中,这次由计算机进行表演,由计算机安装、部署应用,提供对外服务,以及组织计算机处理各种各样的事情。playbook 文件由 YMAL 语言编写。YMAL 格式类似于 JSON 的文件格式,便于理解、阅读和书写。首先学习了解一下 YMAL 的格式,对后面书写 playbook 很有帮助。以下是 playbook 常用的 YMAL 格式规则。文件的第一行应该以“---”(三个连字符)开始,表原创 2021-02-02 00:45:25 · 370 阅读 · 1 评论 -
自动化运维工具 Ansible 在部署大数据平台下的应用(上)
Ansible 命令行模式的使用Ansible 执行自动化任务,分为以下两种执行模式:(1)ad-hoc(单个模块),单条命令的批量执行,或者叫命令行模式;(2)playbook,为面向对象的编程,可以把多个想要执行的任务放到一个 playbook 中,当然多个任务在事物逻辑上最好是有上下关联的,通过多个任务可以完成一个总体的目标。命令行模式一般用于测试、临时应用等场景,而 playbook 方式,主用用于正式环境,通过编写 playbook 文件,可实现固定的、批量的对系统或服务进行配置以及维原创 2021-02-01 17:40:34 · 285 阅读 · 0 评论 -
Hadoop的平台的构建(伪分布式)
与 Linux 有众多发行版类似,Hadoop 也有很多发行版本,但基本上分为两类,即开源社区版和商业付费版。社区版是指由 Apache 软件基金会维护的版本,是官方维护的版本体系;商业版付费版是指由第三方商业公司在社区版 Hadoop 基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的稳定版本,比较著名的有 Cloudera 的 CDP、CDH、Hortonworks 的 Hortonworks Data Platform(HDP)、mapR 等。在这些商业 Hadoop 发行版中,为了吸引原创 2021-02-01 01:21:13 · 275 阅读 · 0 评论