Hadoop
文章平均质量分 51
Kent-
这个作者很懒,什么都没留下…
展开
-
浅析RPC远程过程调用基本原理
在校期间大家都写过不少程序,比如写个hello world服务类,然后本地调用下,如下所示。这些程序的特点是服务消费方和服务提供方是本地调用关系。 而一旦踏入公司尤其是大型互联网公司就会发现,公司的系统都由成千上万大大小小的服务组成,各服务部署在不同的机器上,由不同的团队负责。这时就会遇到两个问题:1)要搭建一个新服务,免不了需要依赖他人的服务,而现在他人的服务都在远端,怎么调用?2)其它团转载 2017-06-24 11:42:17 · 16501 阅读 · 1 评论 -
Hadoop-ssh免密码登录原理
在配置hadoop中,经常会有好几台机器组成一个分布式集群,各个机器之间的通信通常需要使用ssh的方式进行连接。正常情况下,我们连接登录机器的时候是需要输入IP、用户名、密码等等的信息,但是由于经常需要频繁地连接,因此若每次都需要输入这些信息那就太过繁琐了,因此最好将集群各个机器配置免密码登录。下面简单将一下免密码登录的原理: 首先讲一下计算机网络安全中的加密机制,当前的加密类型可以概括原创 2017-06-26 10:13:37 · 816 阅读 · 1 评论 -
浅析Hadoop中MapReduce任务执行流程
MapReduce任务的执行流程非常复杂,但是可以用一个比较粗糙的流程图来描述,描述了一个MapReduce任务从提交到分发和执行完毕的完整过程: 这里要提一下YARN框架,它主要负责的是资源的调度,YARN集群包含两种节点,一种是ResourceManager,这个主要负责资源的管理和调度,一种是NodeManager,这个主要负责任务的运行。 下面把ResourceMana原创 2017-06-26 22:25:35 · 256 阅读 · 0 评论