![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 68
My_Dream_Go
这个作者很懒,什么都没留下…
展开
-
详细版hadoop平台搭建常见问题总结(四)—— 一些漏掉的问题
安装ubantu遇到的问题:失败方法(不推荐):网上有许多方法,我首先采用了制作u盘系统启动盘来安装ubantu系统http://jingyan.baidu.com/article/60ccbceb18624464cab197ea.html,结果开机没出现引导界面。一开始,以为是系统有问题。用了两个版本的ubantu系统,重复安装了四五次都是这种情况。最后想到应该是主引导程序的配置的问...原创 2014-04-30 00:15:20 · 113 阅读 · 0 评论 -
Hadoop的MapReduce的工作机制剖析
原创 2014-03-24 15:50:25 · 56 阅读 · 0 评论 -
详细版hadoop平台搭建常见问题总结(一)
只会按照教程搭建到现在的已经可以熟练的搭建一个平台,说实话,没有把这玩意搭个十几二十遍,没有把其中的每一个步骤都搞清楚,没有深入研究过hadoop的运行机制,还真玩不转。中间团队搭建的时候真的是各种搭建各种问题,下面就先总结以下部分。一.首先搭建hadoop我分为这么几个步骤:(所有问题都以hadoop0.20.2版本为例) 1.安装linux环境 2.创建hadoop用户组和hadoop用户(这步也可以省略,当然是为了以后跑集群方便) 3.安装jdk 4.安装s原创 2014-04-28 20:55:31 · 178 阅读 · 0 评论 -
详细版hadoop平台搭建常见问题总结(二)——jdk的安装
原创 2014-04-28 20:56:58 · 83 阅读 · 0 评论 -
详细版hadoop平台搭建常见问题总结(三)——hadoop的安装
搬,连主机名都没有改。安装hadoop大概分为这么几步:1.解压hadoop安装包2.配置conf文件夹的配置文件(这个仅在hadoop0.20.2版本下讨论,之后版本文件的安装目录有修改)3.格式化HDFS4.启动脚本5.用jps指令和浏览器查看进程是否运行。 这里出问题的一般是在第二步和第五步,第二步很多人没弄懂每个配置文件配置的东西,只是复制,很容易出错,第五步经常会少了几个进程。 (1)配置文件的问题:这个问题比较多很多人没弄懂这些配置文件具体是干嘛的,内容比原创 2014-04-28 23:32:58 · 102 阅读 · 0 评论 -
详细版hadoop平台搭建常见问题总结(四)—— 一些漏掉的问题
464cab197ea.html,结果开机没出现引导界面。一开始,以为是系统有问题。用了两个版本的ubantu系统,重复安装了四五次都是这种情况。最后想到应该是主引导程序的配置的问题,也就是在用UltraISO软件将ubantu系统镜像文件写入到u盘时,设置便捷启动 百度上这篇文章是这样:在弹出的窗口中进行如下图设置,刻录校验:打上对号写入方式:USB-ZIP+便捷启动:写入新的硬盘主引导记录(MBR)-USB-ZIP+设置完毕后,单击“写入”如下图: 但很不幸,我原创 2014-04-30 00:15:20 · 73 阅读 · 0 评论 -
hadoop学习笔记(一)——java动态代理
每一种技术的诞生都是为了解决一个问题,那么我们可以从这么几个问题来了解动态代理。 1.为什么要用动态代理? 2.有动态代理那么有静态代理吗? 3.什么是动态代理? 4.动态代理就java来说怎么代码实现? 好的我们开始解决这些问题,首先是为什么要动态代理,解决这个问题的时候我们可能还要问为什么要用代理,大家可能都听说过java设计模式中的代理模式,那么首先为什么要代理呢?就像一个歌星需要经纪人一样,明星所要做的核心事情就是把歌唱原创 2014-05-14 17:13:55 · 84 阅读 · 0 评论 -
hadoop学习笔记(二)——java的反射机制浅析
原创 2014-05-14 22:23:53 · 145 阅读 · 0 评论 -
hadoop学习笔记(二)——IO的5种模型
1.阻塞IO 2.非阻塞IO 3.多路复用IO 4.信号驱动IO 5.异步IO 因为第四种不常用,所以我就分析剩下的四种模型。 当然我在研究这些模式的时候还是经常搞混一些东西,比如大家肯定听过什么同步IO,阻塞IO,同步非阻塞IO,当时我也对这些概念很模糊,现在就先来理一理。 在Unix中的同步和异步的定义先来看一看: 同步IO操作:IO操作将导致请原创 2014-05-16 12:37:55 · 133 阅读 · 0 评论 -
hadoop的HDFS
原创 2014-03-24 14:55:17 · 80 阅读 · 0 评论 -
hadoop平台的搭建
原创 2014-03-21 23:29:39 · 71 阅读 · 0 评论 -
hadoop学习笔记(一)——java动态代理
为了分析HDFS,就要研究他的RPC机制,为了研究RPC机制,就要了解动态代理,反射机制和NIO,写篇文章就记录下学习动态代理的过程吧。 每一种技术的诞生都是为了解决一个问题,那么我们可以从这么几个问题来了解动态代理。 1.为什么要用动态代理? 2.有动态代理那么有静态代理吗? 3.什么是动态代理? ...原创 2014-05-14 17:13:55 · 112 阅读 · 0 评论 -
hadoop学习笔记(二)——IO的5种模型
之前说了为了分析hadoopRPC机制,就要了解NIO,在说NIO之前我想先把IO的5种模式简要的记录下。 首先在Unix网络编程中IO大致分为5种: 1.阻塞IO 2.非阻塞IO 3.多路复用IO 4.信号驱动IO 5.异步IO 因为第四种不常用,所以我...原创 2014-05-16 12:37:55 · 161 阅读 · 0 评论 -
hadoop平台的搭建
云计算入门——搭建hadoop平台云计算这个词在之前就听说过,最早听说这个词的时候第一感觉是好高端,第二感觉是估计很枯燥需要很高深的算法。因此最早对他是没什么兴趣的。最近读了许多关于IT方面的书,才发现云计算根本不是我想象的那样,云计算的范围之广,涉及之深,用途之大,让我顿时发现了一个新的世界,在云的世界里,只要有个浏览器,一个终端,你几乎能...原创 2014-03-21 23:29:39 · 106 阅读 · 0 评论 -
hadoop的HDFS
Hadoop的HDFS之前刚搭建好了Linux上的hadoop平台,因为暂时不能组成集群,就去深入了解了下hadoop。首先要说下的就是hadoop的三中分布模式,单机,伪分布,集群分布,单机,顾名思义,就是只有一台机子来开启进程,这个没什么好说的一般只能用来熟悉下hadoop操作,集群分布才是真正意义上的分布模式,由一个Namenode(在2.20版本或以上可以有几个Namenode...原创 2014-03-24 14:55:17 · 82 阅读 · 0 评论 -
Hadoop的MapReduce的工作机制剖析
Hadoop的MapReduce的工作机制剖析 安装完hadoop之后我们肯定第一个就要先跑跑Wordcount的实例,这个实例的运行机制就是MapReduce.什么叫MapReduce呢,你可以把他分为Map和Reduce两个过程。Mapper nMap-reduce的思想就是“分而治之” nMapper负责“分”,即把复杂的任务分解为若干个“简单的任务”执行 n“简...原创 2014-03-24 15:50:25 · 193 阅读 · 0 评论 -
详细版hadoop平台搭建常见问题总结(一)
最近在带团队搞hadoop这个东西,首先自然要从搭建平台开始,说实话当初自己搞得时候光光这个平台就搞了半天,也确实是个麻烦的事情,从刚开始的只会按照教程搭建到现在的已经可以熟练的搭建一个平台,说实话,没有把这玩意搭个十几二十遍,没有把其中的每一个步骤都搞清楚,没有深入研究过hadoop的运行机制,还真玩不转。中间团队搭建的时候真的是各种搭建各种问题,下面就先总结以下部分。一.首先搭建had...原创 2014-04-28 20:55:31 · 398 阅读 · 0 评论 -
详细版hadoop平台搭建常见问题总结(二)——jdk的安装
二.然后说说安装jdk的问题 1.首先我们用的是Ubuntu版本的Linux系统,Ubuntu自带会配置好jdk,没有的话可以输入指令 apt-get install sun-java6-jdk 来安装,默认路径是/etc/lib/jvm目录下。不过这种方法获得的jdk可能不是你想要的,你也可以自己去www.oracle.com官网下载jdk(java原先是sun公司的产品,但是...原创 2014-04-28 20:56:58 · 247 阅读 · 0 评论 -
详细版hadoop平台搭建常见问题总结(三)——hadoop的安装
三.关于安装hadoop时候的一些问题 这个就有的说了,很多人安装过程中只是按照教程来安装,不知道其中的一些步骤是什么意思,甚至很多都是照搬,连主机名都没有改。安装hadoop大概分为这么几步:1.解压hadoop安装包2.配置conf文件夹的配置文件(这个仅在hadoop0.20.2版本下讨论,之后版本文件的安装目录有修改)3.格式化HDFS4.启动脚本5.用jps...原创 2014-04-28 23:32:58 · 223 阅读 · 0 评论 -
hadoop学习笔记(三)——浅析Google三大论文中MapReduce的流程
首先我们先来理清楚MR的工作流程,然后从流程中找到一些有疑问的地方,依次解决,再来看看一些细节处理。一.MR的工作流程: (1) Hadoop 1.0第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中,HDFS由一个NameNode和多个DataNode组成,MapReduce由一个JobTracker和多个TaskTracker组成,对应Hadoop版本为Hadoop 1.x和0.21.X,0.22.x。(2) Hadoo原创 2014-05-18 12:47:45 · 186 阅读 · 0 评论