wsjslient的博客

Hadoop大数据平台伪分布式安装

文章目录前言AmbariHDPHDP-UTILS一、安装准备1.1 Ambari、HDP版本介绍1.2 设备前置安装1.2.1 关闭防火墙1.2.2 无密登录1.2.3 jdk安装1.2.4 服务器时间同步1.3 软件准备二、离线安装前言AmbariApache Ambari是用于置备，管理和监视Apache Hadoop集群的工具。 Ambari由一组RESTful API和一个基于浏览器的管理界面组成。Ambari使系统管理员可以：设置Hadoop集群： Ambari提供了一个易于使用的

文章目录前言一、初始化环境二、测试方法2.1 创建文件夹2.2 创建文件并写入数据2.3 在文件后追加内容2.4 查看HDFS文件2.5 文件(夹)重命名2.6 删除文件(夹)2.7 文件上传2.7.1 本地文件上传2.7.2 上传带进度条2.8 下载文件2.9 查看HDFS文件列表2.10 查看DataNode信息前言       可能很多小伙伴用java写过MapReuce的代码，但是对于操作HDFS相信很多小伙伴都是用Lin

mapreduce执行模式1.MR的分布式运行：yarn平台上由MRApplicationMaster控制全部流程每一个task以及MRApplicationMaster都以独立的进程运行在nodeManager的contain中执行；2.MR的本地运行：MapReduce 程序是被提交给 LocalJobRunner 在本地以单进程多线程的形式运行整个运行流程有localJobRunner控制每一个task都以线程的方式执行决定mr程序以分布式还是以本地模式运行：//JobCl

一、集群整体方案设计hd01hd02hd03作用NameNode(主)activeNNNameNode(备)standbyNNDFSZKFailoverController故障自动转移JournalNodeNamenode数据同步DataNode数据节点ResourceManager(主)主资源管理进程ResourceManager(备)备份资源管理NodeManager节点

Yarn目录一、Yarn基本架构1.ResourceManager1.1 主要功能1.2 核心组成2.NodeManager3.ApplicationMaster4.Container一、Yarn基本架构        Yarn主要由 ResourceManager、 NodeManager、 ApplicationMaster和 Container等组件构成。1.ResourceManager &nbsp

MapReduce目录MapReduce1.MapReduce定义2.MapReduce优点&缺点MapReduce优点3.MapReduce缺点工作流程MapReduceMapReduce1.MapReduce定义        MapReduce是一个并行计算与运行软件框架（Software Framework）。它提供了一个庞大但设计精良的并行计算软件框架，能自动完成计算任务的并行化处理，自动划分计算数据和计

HDFS目录HDFS介绍HDFS设计假设和目标HDFS设计原理HDFS介绍        HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。HDFS设计假设和目标硬件故障：HDFS实例可能包含数百或数千个服务器计算机；存在大量组件并且每个组件都有不小的故障概率这一事实意味着HDFS的某些组件始终无法正常工

Hadoop生态圈前言一、Hadoop生态HadoopHadoop生态圈二、生态圈模块HDFSMapReduceYarnHiveZookeeperHbaseSqoop前言        截止写这边文章前，已经学习了hadoop、hive、hbase、zookeeper、sqoop，后续还会学习Hadoop生态圈的其他模块内容，这篇文章的内容也会逐渐完善。下面我把学习中有必要去了解和掌握的和大家一起分享。一、Hadoop生

Hadoop安装及配置目录一、虚拟机免密登录二、解压文件并授权1.解压文件2.授权用户和组三、配置环境变量和配置文件1.配置环境变量一、虚拟机免密登录       免密登录是为了后面启动Hadoop服务方便而操作，不然每个Hadoop服务启动都需要输入密码（如果本机已生成秘钥，则只需把id_rsa.pub的内容拷贝一份至同目录下的authorized_keys中即可）。这里我用的是一台全新的虚拟机来演示。二、解压文件并授权1.