大数据
wsxxm_h
这个作者很懒,什么都没留下…
展开
-
Hadoop元数据解析
元数据的分类原创 2016-11-03 09:13:58 · 3496 阅读 · 0 评论 -
hadoop集群的部署
最近hjc在自学Hadoop所以就在公司闲置的服务器上搭建了1主3从的Hadoop集群并且测试成功了,所以写下来和大家分享一下,同时也梳理一下思路。如果有什么问题欢迎留言一起讨论学习。 集群环境: 10.0.0.101 master 10.0.0.102 seg1 10.0.0.103 seg2 10.0.0.104 seg3 下面我就开始讲解怎么样部署。 1、修改hosts文件(每台原创 2016-10-26 13:47:10 · 478 阅读 · 0 评论 -
Hadoop HA的理解
最近在自学hadoop,看了很多网上的博客,很多人都提到了HA,但是具体的HA是怎么一回事,他指的是什么,我们为什么要考虑这个呢?下面我就谈谈我个人对HA的理解。 HA(High Available)就是高可用性,我们学习分布式集群框架,经常的会考虑这个问题,那么Hadoop也是不可避免的,而Hadoop的HA具体是什么引起的呢?知道这个我们就可以提出具体的方案来解决它,或者提高HA了。我们学习H原创 2016-10-31 15:34:20 · 7873 阅读 · 2 评论 -
hadoop-MapReduce使用的Java技术
最近在自学MapReduce的知识,虽然是个初学者,但是里面用的Java技术对于我来说并不陌生,在阅读源码的同时我可以体会到hadoop的开发者是一个资深的Java开发者,对于架构和分布式的知识有深层次的研究,同时感觉自己任重而道远啊。好了,不扯淡。我就说一说学习MapReduce需要的Java知识。 1、Java 的CallBack机制 理解这个机制首先要对java多态有深层次的理解不简简单单原创 2016-11-15 16:37:55 · 1141 阅读 · 0 评论 -
MapReduce基础篇-动态代理
对于MapReduce我已经看完有一段时间了,一直没有写这个后续是觉得对于这个自己还是理解的不太深,不敢随便的就写了,误人子弟,我今天把这个写出来也不是说对于RPC中使用的动态代理的理念有多深的理解的,只是基于自己对项目的理解,然后写出来,和大家分享一下自己的想法,希望有什么理解不到位的,一起探讨。 RPC是java中实现服务之间通信而提出来的,是RMI的一种吧,服务之间的通信有很多种,我这里就不原创 2016-12-08 14:10:01 · 441 阅读 · 0 评论