Mr.稻 帅（梦想如歌！）

今天总算是八hadoop2.4的整个开发环境弄好了，包含 windows7上eclipse连接hadoop，eclipse的配置和测试弄得烦躁的一逗比了~先上一张成功的图片，hadoop的伪分布式安装配置，只要按照步骤来，有点基础的 基本没什么问题的。。eclipse的配置 弄了很长一段时间才弄好的，中间出现各种意外的错误。。下篇博客将重点讲述这个艰难的过程。。。今天来说说

原文链接：http://dtbuluo.com/blog/archives/569前面介绍了hbase0.98.8版本的编译，这里介绍hbase0.98.8的安装，基于hadoop-2.5.2版本，基于之前的编译包进行安装。参照编译文章：http://dtbuluo.com/blog/archives/552注意：需要安装好hadoop2.5.2，参照：ht

因nutch2.3.1版本的缘故，nutch2.3.1版本依赖的是hadoop2.5.2和hbase0.98.8版本，这边就给大家介绍一下基于hadoop2.5.2的hbase0.98.8版本的编译，hadoop的编译和安装，请参考：http://dtbuluo.com/blog/archives/129 和 http://dtbuluo.com/blog/archives/130 的文章

有很长一段时间没有写博客了。。。最近因为项目上的一些需要，开始研究起了Nutch。 参照一下文章:nutch系列文章也是因为nutch的缘故，才开始看起了hbase，hbase其实是依赖hadoop的，关于hadoop的编译安装问题，可以参考： 【hadoop之翊】——CentOS6.5 Linux上面编译Hadoop2.4源码 本人此次编译的是2.7.2版本，方式跟上面一样的。1、下载hba

官网上hadoop提供的安装包是在32位系统下编译，一般我们都现在用是64位系统，如果直接来安装的话，会有一些错误或者警告信息，这种情况下，我们最好是在自己的系统上编译hadoop源码，参照：http://blog.csdn.net/enson16855/article/details/35568049这种情况下编译不会直接输出hadoop本地库，会出现INFO util.NativeCode

今天来说说编译hadoop源码的事情吧~1、首先下载源码地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/2、加压tar包到指定文件夹：/home/hadoop/soft/hadooptar zxvf hadoop-2.4.0-src.tar.gz3、Linux编译环境准备java环境

关于hadoop的发展和历史以及简介，这样的废话就不说，简而言之就一句话，开源的分布式云计算。目前鄙人使用的是hadoop-1.0.4，下载地址：http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.0.4/ 下载 hadoop-1.0.4.tar.gz 即可。解压即可。先对伪分布式的概念进行说明一下，整个环境的配置是基于lin

首先确定系统是否安装了ssh服务，如果没有则可以使用yum进行安装，参照前面关于yum使用的文章。1、使用以下命令进行查看：ssh -version2、查看用户主目录下是否有.ssh文件夹（为隐藏文件夹）,其中javen为本人系统用户主文件夹名称ll /home/javen/.ssh/没有的话就自行创建mkdir /home/javen/.ssh3、生成私钥和公钥

因为一些缘故，这节内容到现在才写，其实弄hadoop有一段时间了，可以编写一些小程序了，今天来还是来说说环境的搭建....说明一下：这篇文章的步骤是接上一篇的hadoop文章的：http://blog.csdn.net/enson16855/article/details/37725771 ，如果不是按照上篇的方式安装hadoop，可能会有些错误~百度一下就能解决的哈~准备环境：不用多

转载地址：http://bbs.csdn.net/topics/390811949Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题，具有完善的生态系统，这直接奠定了其一统云计算大数据领域的霸主地位；要想成为Spark高手，需要经历一下阶段：第一阶段：熟练的掌握Scala语言1， Spark框架是采用Scala

今天来说说hadoop的一大核心——HDFS，这个是很重要的，它呢，是分布式文件系统。为什么说hadoop能存储海量数据？其实主要还是依赖与hdfs的能力，主要依赖的是hdfs能存储海量数据。1、 为什么hdfs能存储海量数据呢？一开始抛出这样的问题来想想。至于HDFS的基本概念什么的都不用多说了的~我们重在使用，而不是去做“研究”。扯蛋的话就是，“专家的研究”已经成为名副其实的贬义词了，

原文地址：http://dtbuluo.com/blog/archives/365　大数据已然成为当今最热门的技术之一，正呈爆炸式增长。每天来自全球的新项目如雨后春笋般涌现。幸运地是，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点最受欢迎的十大开源的大数据技术。　　1.Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并