Notzuonotdied的博客

前言不知道写啥，还是把几篇比较好的文章放上来。Hadoop NameNode 高可用 (High Availability) 实现解析既有原理又有对比的文章。NameNode 高可用整体架构概述。NameNode主备切换实现。NameNode 共享存储实现。NameNode 高可用运维中的注意事项。Hadoop NameNode 高可用架构介绍该高可用架构的主备切换...

前言

前言Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序相当于运行于操作系统之上的应用程序。Yarn的重要概念Yarn并不清除用户提交的程序运行机制。Yarn只提供运算资源的调度（用户程序向Yarn申请资源，Yarn负责分配资源）。Yarn中的Master是ResourceManage。Yarn中提供运算资源的角...

前言

前言

前言HDFS采用了主从Master/Slave结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode管理存储的数据。HDFS允许用户以文件的形式存储数据。从内部来看，文件被分成若干个数据块，而且这若干个数据块存放在一组DataNode上。NameNode执行文件...

前言Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS（Hadoop Distributed File System,）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。HDFS的高容错性、高伸缩性等优点允许用户将Hadoop部署在低廉的硬件上，形成分布式系统；...

前言

前言

前言 简单学学常见的一些指令。宿主环境：Ubuntu18.04虚拟环境：VMWare虚拟机：Centos7修改基本配置　　首先，我们在VMWare中安装一个Centos的虚拟机，安装完毕之后是没有网络，我们需要配置下网络。修改主机的名称vim /etc/sysconfig/network在该文件中添加一下内容NETWORKKING=yesHOSTN...

前言大数据是一个以数据为核心的产业，是一个围绕大数据生命周期不断往复循环的生产过程，同时也是由多种行业协同配合而产生的一个复合性极高的行业。生命周期数据收集数据存储数据建模数据分析数据变现大数据产业 《白话大数据与机器学习》在大数据产业中，数据通过各种方式、软件进行收集，借助网络这种媒介进行传输，通过与数据中心进行存储，通过数据科学家或者行业专家进行存储，...