hadoop
tugangkai
四海皆为兄弟
展开
-
hdfs读写流程
转载自:https://blog.csdn.net/whdxjbw/article/details/81072207 专栏:大数据核心原理与实践概述开始之前先看看其基本属性,HDFS(Hadoop Distributed File System)是GFS的开源实现。特点如下:能够运行在廉价机器上,硬件出错常态,需要具备高容错性流式...转载 2018-09-26 10:44:52 · 354 阅读 · 0 评论 -
Hadoop一些常用的命令以及DataNode、Yarn节点服役、退役
1、Hadoop常用命令hadoop verion //版本hadoop fs //文件系统客户端.hadoop jar //hadoop classpath //查看hadoop类路径hadoop checknative //检查压缩库本地安装情况hadoop启动命令$>start-all.sh //start-dfs....转载 2019-03-15 00:35:43 · 599 阅读 · 0 评论 -
zkfc详细设计
ZKFC设计文档(ZK Failover Controller Design)设计组件化设计,ZK-based的automatic Failover主要由三个组件组成:HealthMonitor:用于监控NN是否unavailable或者处于unhealth状态ActiveStandbyElector:用于监控NN在zk中的状态ZKFailoverController:从Heal...转载 2018-11-08 11:32:11 · 228 阅读 · 0 评论 -
RPC原理及RPC实例分析
出自:https://my.oschina.net/hosee/blog/711632 在学校期间大家都写过不少程序,比如写个hello world服务类,然后本地调用下,如下所示。这些程序的特点是服务消费方和服务提供方是本地调用关系。public class Test { public static void main(String[] args) { ...转载 2018-11-06 01:26:02 · 222 阅读 · 0 评论 -
avro与protocal buffer,
当想要数据, 比如对象或其他类型的, 存到文件或是通过网络传输, 需要面对的问题是序列化问题 对于序列化, 当然各个语言都提供相应的包, 比如, Java serialization, Ruby’s marshal, or Python’s pickle一切都没有问题, 但如果考虑到跨平台和语言, 可以使用Json或XML 如果你无法忍受J...转载 2018-11-05 18:33:01 · 497 阅读 · 0 评论 -
Hadoop之——机架感知配置
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/l1028386804/article/details/51935169 转载请注明出处:http://blog.csdn.net/l1028386804/article/details/519...转载 2018-10-30 01:00:30 · 155 阅读 · 0 评论 -
图解ssh原理
主要内容1. 初见SSHSSH是一种协议标准,其目的是实现安全远程登录以及其它安全网络服务。SSH仅仅是一协议标准,其具体的实现有很多,既有开源实现的OpenSSH,也有商业实现方案。使用范围最广泛的当然是开源实现OpenSSH。2. SSH工作原理在讨论SSH的原理和使用前,我们需要分析一个问题:为什么需要SSH?从1....转载 2018-10-23 11:38:41 · 480 阅读 · 0 评论 -
hadoop集群节点服役和退役
集群中服役新数据节点0)需求:随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。1)环境准备 (1)克隆一台虚拟机(克隆已经配置好的主机,或者是服役中的节点。) &...转载 2018-10-25 17:30:31 · 406 阅读 · 0 评论 -
hadoop journalnode
转自:https://my.oschina.net/u/189445/blog/661561NameNode之间共享数据(NFS 、Quorum Journal Node(用得多))两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修...转载 2018-10-23 00:54:59 · 246 阅读 · 0 评论 -
hadoop
转载于http://blog.csdn.net/chenpingbupt http://www.wuzesheng.com/?p=24751、概述 在手动FailOver的基础上,自动Failover增加了两个东西:一个是ZooKeeper集群,一个是ZKFailoverController(...转载 2018-10-23 00:53:50 · 105 阅读 · 0 评论 -
MR1和MR2的运行原理
MapReduce1分为6个步骤: 1、作业的提交 1)、客户端向jobtracker请求一个新的作业ID(通过JobTracker的getNewJobId()方法获取,见第2步 2)、计算作业的输入分片,将运行作业所需要的资源(包括jar文件、配置文件和计算得到的输入分片)复制到一个以ID命名的jobtracker的文件系统中(HDFS),见第3步 3)、告知jo...原创 2018-09-26 11:15:11 · 1687 阅读 · 0 评论 -
mapreduce运行原理
Hadoop 2.6 MapReduce运行原理详解 市面上的hadoop权威指南一类的都是老版本的书籍了,索性学习并翻译了下最新版的Hadoop:The Definitive Guide, 4th Edition与大家共同学习。 我们通过提交jar包,进行MapReduce处理,那么整个运行过程分为五个环节: 1、向client端提交MapReduce job. 2、随后y...转载 2018-09-26 11:01:17 · 613 阅读 · 0 评论 -
Hadoop Yarn调度器的选择和使用
一、引言Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。上图是Yarn的基本架构,其中ResourceManager是整个架构的核心组件,它负责整个集群中包括内存、CPU等资源的管理;ApplicationMaster负责应用程序在整个生命周期的任务调度;NodeManager负责本节点上资源的供给和隔离;Cont...转载 2019-03-24 22:25:53 · 212 阅读 · 0 评论