BigData
文章平均质量分 81
weishantc
这个作者很懒,什么都没留下…
展开
-
Hadoop入门系列(2) -- Hadoop运行环境搭建
由于服务器上一般centos的系统安装得比较多,我们环境使用CentOS 6.3 64位操作系统来运行Hadoop。同时,hadoop依赖于java,所以os上要安装好 jdk,一般安装centos时注意下选择openjdk就可以,限于篇幅,这里不讲解centos6.3的安装,上网任意搜索都可以查看到教程。Hadoop版本选择上,我们选择较新的1.2.1版本。 另外,如果你是从头开始安装整套环境,原创 2015-07-02 20:36:48 · 1607 阅读 · 0 评论 -
Hadoop入门系列(3) -- Eclipse+Hadoop开发环境搭建
Eclipse的Hadoop插件Hadoop的安装包中包含elipse-plugin的源码,在src/contrib/eclipse-pluging目录下,我们可以自己编译生成插件,也可以使用网上别人编译好的 Eclipse的Hadoop插件 hadoop-eclipse-plugin-1.2.1.jar,放在eclipse的”plugins”目录下,重启Eclipse就可以生效。配置eclips原创 2015-07-02 20:46:21 · 3747 阅读 · 0 评论 -
Hadoop入门系列(4) -- MapReduce详解
Map过程Reduce过程MapReducce使用技巧原创 2015-07-02 21:00:55 · 666 阅读 · 0 评论 -
Hadoop入门系列(1) -- Hadoop简介
Hadoop主要由HDFS、MapReduce和Hbase组成。 它是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下开发分布式程序。 简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。本文将主要从Hadoop的MapReduce并行框架出发,HDFS和HBase不会涉及,有兴趣可以自己查看资料。Google云计算的三大法器谷歌发表原创 2015-07-02 20:30:28 · 1153 阅读 · 0 评论