hadoop编程
iteye_20418
这个作者很懒,什么都没留下…
展开
-
hadoop集群上传下载文件
在过年前夕我们小组就开始研究云计算了,之前都是在搭建云平台,配置hadoop集群环境,出现各种问题,各种不解,最终还是成功搭建了由10台机器组成的hadoop集群环境!由于写这篇技术博客的时候没有网络,暂时就不写搭建环境的步骤了,下面就在hadoop集群上运行的程序进行分析吧!我们知道云计算应用中就有文件的上传和下载,我们提交任务到云端,让云端帮我们完成任务,下面就分析一下代码吧!要在Ha...2012-01-29 13:01:15 · 436 阅读 · 0 评论 -
hadoop集群环境的配置
之前说过,我们的hadoop集群已经搭建起来了,只是具体的步骤还没来得及整理,幸好今天又把流程走了一遍,真的是不做不晓得,一做才发现自己原来什么都忘记得差不多了,在此记录一下搭建hadoop集群的步骤,便于需要的时候看看! 这个配环境的过程真的是比较困难的,我今天搞了一天终于把自己的机器作为datanode连接上了master机器,我还是年前搞过一遍的呢,所以这个还是需要耐心+细心的!...2012-02-02 02:47:28 · 114 阅读 · 0 评论 -
pagerank在hadoop上的运行
从2月1日开始,我们云计算小组也搞了四天的研究了,虽然人没有到到齐,但我们还是在一位学长的带领下完成了一些任务,现在先来总结以下吧! 直到现在,我们已经将pagerank的计算在自己的hadoop伪分布式机器上运行出来了!在集群上运行的代码也写出来了,只是没有在hadoop集群上进行测试了,因为昨天集群出来问题,今天主要的任务就是在集群上将成寻运行起来! ...2012-02-05 12:12:46 · 460 阅读 · 0 评论 -
解读HDFS
是蛮久木有写过关于hadoop的博客了额,虽然最近也看了一些关于linux的基础知识,但似乎把这个东西忘记了,其实时不时回顾一下以前的知识还是蛮有意思的,且行且忆! 我们Hadoop 主要由HDFS和MapReduce 引擎两部分组成。最底部是HDFS,它存储Hadoop 集群中所有存储节点上的文件。HDFS 的上一层是MapReduce 引擎,该引擎由JobTrackers 和TaskT...2012-05-01 15:05:00 · 189 阅读 · 0 评论