hadoop
文章平均质量分 78
chenying777521
这个作者很懒,什么都没留下…
展开
-
《hadoop基础教程》之初始hadoop
Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身。 《Hadoop基础教程》是我读的第一本Hadoop书籍,当然在线只能试读第一章,不过对Hadoop历史、核心技术和应用场景有了初步了解。 Hadoop历史 雏形开始于2002年的Apa转载 2017-03-31 11:02:11 · 326 阅读 · 0 评论 -
Hadoop源码学习笔记(5) ——回顾DataNode和NameNode的类结构
Hadoop源码学习笔记(5)——回顾DataNode和NameNode的类结构之前我们简要的看过了DataNode的main函数以及整个类的大至,现在结合前面我们研究的线程和RPC,则可以进一步看看几个对象的大至结构以及调用关系。我们知道,三个结构(客户端,NameNode,DataNode)是能过网络调用的,走的是RPC。那在底层通讯时谁做服务器谁做客户端呢?我们先回顾转载 2017-03-31 16:31:01 · 286 阅读 · 0 评论 -
Hadoop源码学习笔记(4) ——Socket到RPC调用
Hadoop源码学习笔记(4)——Socket到RPC调用Hadoop是一个分布式程序,分布在多台机器上运行,事必会涉及到网络编程。那这里如何让网络编程变得简单、透明的呢?网络编程中,首先我们要学的就是Socket编程,这是网络编程中最底层的程序接口,分为服务器端和客户端,服务器负责监听某个端口,客户端负责连接服务器上的某个端口,一旦连接通过后,服务器和客户端就可以双向通讯转载 2017-03-31 16:30:02 · 215 阅读 · 0 评论 -
Hadoop源码学习笔记(3) ——初览DataNode及学习线程
Hadoop源码学习笔记(3)——初览DataNode及学习线程进入了main函数,我们走出了第一步,接下来看看再怎么走:publicclass DataNode extends Configuredimplements InterDatanodeProtocol, ClientDatanodeProtocol, FSConstants,转载 2017-03-31 16:29:00 · 170 阅读 · 0 评论 -
Hadoop源码学习笔记(2) ——进入main函数打印包信息
Hadoop源码学习笔记(2)——进入main函数打印包信息找到了main函数,也建立了快速启动的方法,然后我们就进去看一看。进入NameNode和DataNode的主函数后,发现形式差不多:publicstatic void main(String args[]) { try { StringUtils.startu转载 2017-03-31 16:28:07 · 322 阅读 · 0 评论 -
Hadoop源码学习笔记(1) ——第二季开始——找到Main函数及读一读Configure类
Hadoop源码学习笔记(1)——找到Main函数及读一读Configure类前面在第一季中,我们简单地研究了下Hadoop是什么,怎么用。在这开源的大牛作品的诱惑下,接下来我们要研究一下它是如何实现的。提前申明,本人是一直搞.net的,对java略为生疏,所以在学习该作品时,会时不时插入对java的学习,到时也会摆一些上来,包括一下设计模式之类的。欢迎高手指正。整转载 2017-03-31 16:27:04 · 281 阅读 · 0 评论 -
Hadoop学习笔记(10) ——搭建源码学习环境
Hadoop学习笔记(10)——搭建源码学习环境上一章中,我们对整个hadoop的目录及源码目录有了一个初步的了解,接下来计划深入学习一下这头神象作品了。但是看代码用什么,难不成gedit?,单步调试呢? 看程序不能调那多痛苦啊,想看跟踪一下变量,想看一下执行路径都难。所以这里,我们得把这个调试环境搭建起来。Hadoop的主要代码是用java编写的,所以这里就选用eclip转载 2017-03-31 16:20:34 · 249 阅读 · 0 评论 -
Hadoop学习笔记(9) ——源码初窥
Hadoop学习笔记(9)——源码初窥之前我们把Hadoop算是入了门,下载的源码,写了HelloWorld,简要分析了其编程要点,然后也编了个较复杂的示例。接下来其实就有两条路可走了,一条是继续深入研究其编程及部署等,让其功能使用的淋漓尽致。二是停下来,先看看其源码,研究下如何实现的。在这里我就选择第二条路。研究源码,那我们就来先看一下整个目录里有点啥:这个是转载 2017-03-31 16:19:18 · 229 阅读 · 0 评论 -
Hadoop学习笔记(8) ——实战 做个倒排索引
Hadoop学习笔记(8)——实战 做个倒排索引倒排索引是文档检索系统中最常用数据结构。根据单词反过来查在文档中出现的频率,而不是根据文档来,所以称倒排索引(Inverted Index)。结构如下:这张索引表中, 每个单词都对应着一系列的出现该单词的文档,权表示该单词在该文档中出现的次数。现在我们假定输入的是以下的文件清单:T1 : h转载 2017-03-31 16:16:24 · 171 阅读 · 0 评论 -
Hadoop学习笔记(7) ——高级编程
Hadoop学习笔记(7)——高级编程从前面的学习中,我们了解到了MapReduce整个过程需要经过以下几个步骤:1.输入(input):将输入数据分成一个个split,并将split进一步拆成。2.映射(map):根据输入的进生处理,3.合并(combiner):合并中间相两同的key值。4.分区(Partition):将分成N分,分别送到下一环节转载 2017-03-31 16:14:44 · 135 阅读 · 0 评论 -
Hadoop学习笔记(6) ——重新认识Hadoop
Hadoop学习笔记(6)——重新认识Hadoop之前,我们把hadoop从下载包部署到编写了helloworld,看到了结果。现是得开始稍微更深入地了解hadoop了。Hadoop包含了两大功能DFS和MapReduce, DFS可以理解为一个分布式文件系统,存储而已,所以这里暂时就不深入研究了,等后面读了其源码后,再来深入分析。 所以这里主要来研究一下MapReduce转载 2017-03-31 16:13:10 · 136 阅读 · 0 评论 -
Hadoop学习笔记(5) ——编写HelloWorld(2)
Hadoop学习笔记(5)——编写HelloWorld(2)前面我们写了一个Hadoop程序,并让它跑起来了。但想想不对啊,Hadoop不是有两块功能么,DFS和MapReduce。没错,上一节我们写了一个MapReduce的HelloWorld程序,那这一节,我们就也学一学DFS程序的编写。DFS是什么,之前已经了解过,它是一个分布式文件存储系统。不管是远程或本地的文件系转载 2017-03-31 16:10:58 · 233 阅读 · 0 评论 -
Hadoop学习笔记(4) ——搭建开发环境及编写Hello World
Hadoop学习笔记(4)——搭建开发环境及编写Hello World整个Hadoop是基于Java开发的,所以要开发Hadoop相应的程序就得用JAVA。在linux下开发JAVA还数eclipse方便。下载进入官网:http://eclipse.org/downloads/。找到相应的版本进行下载,我这里用的是eclipse-SDK-3.7.转载 2017-03-31 16:04:33 · 328 阅读 · 0 评论 -
Hadoop学习笔记(3)——分布式环境搭建
Hadoop学习笔记(3)——分布式环境搭建前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下。在这里,我们采用这样的策略来模拟环境,我们使用3台ubuntu机器,1台为作主机(master),另外2台作为从机(slaver)。同时,这台主机,我们就用第一章中搭建好的环境来。我转载 2017-03-31 16:00:56 · 265 阅读 · 0 评论 -
Hadoop学习笔记(2) ——解读Hello World
Hadoop学习笔记(2)——解读Hello World上一章中,我们把hadoop下载、安装、运行起来,最后还执行了一个Hello world程序,看到了结果。现在我们就来解读一下这个Hello Word。 OK,我们先来看一下当时在命令行里输入的内容:$mkdir input $cd input $echo "hello worl转载 2017-03-31 15:59:21 · 254 阅读 · 0 评论 -
Hadoop学习笔记(1) ——菜鸟入门
Hadoop学习笔记(1)——菜鸟入门http://www.cnblogs.com/zjfstudio/p/3859704.htmlHadoop是什么?先问一下百度吧:【百度百科】一个分布式系统基础架构,由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式转载 2017-03-31 15:54:58 · 173 阅读 · 0 评论 -
Hadoop源码学习笔记(6)——从ls命令一路解剖
Hadoop源码学习笔记(6)——从ls命令一路解剖Hadoop几个模块的程序我们大致有了点了解,现在我们得细看一下这个程序是如何处理命令的。 我们就从原头开始,然后一步步追查。我们先选中ls命令,这是一个列出分面式文件系统中的目录结构。传入一个查阅地址,如果没有则是根目录。启动NameNode和DataNode服务。然后在命令行中输入ls :换成程序,如果写呢转载 2017-03-31 16:38:14 · 529 阅读 · 0 评论