wk51920的专栏

简介         HBase是Apache Hadoop的数据库，能够对大数据提供随机、实时的读写访问功能，具有开源、分布式、可扩展及面向列存储的特点。HBase是由Chang等人基于Google的Bigtable开发而成的。HBase的目标是存储并处理大型的数据，更具体来说是只需要使用普通的硬件配置即可处理由成千上万的行和列组成的大数据。         HBase是一个开源的、分布

背景        本人最近在学习hadoop的相关内容，感觉在一个伪分布式环境下研究、学习总是感觉不伦不类的，于是想配一个基于OSX平台的完全分布式环境。在网上看了很多配置教程，发现几乎都是同时开三个虚拟机实现的三节点分布式环境，而我想用我的macbook作为master节点，并在此笔记本上开两个ubuntu虚拟机作为node1,node2节点，一番摸索下终于成功，特此写下此文章，以便不想完全用虚

简介         作为Apache项目的一个子项目，Pig提供了一个支持大规模数据分析的平台。Pig包括用来描述数据分析程序的高级程序语言，以及对这些程序进行评估的基础结构。Pig突出的特点就是它的结构经得起大量并行任务的检验，这使得它能够处理大规模数据集。         以上来自《Hadoop实战》环境 mac OSX EI Capitan 10.11.5 (maste

背景       前段时间配置好了基于mac的hadoop完全分布式环境，一直想着怎么样去用编译器写程序然后直接在hadoop环境中运行呢，经过一番摸索，写下此文章分享交流。环境介绍 os x EI Capitan 10.11.5 虚拟机：Parallels Desktop ubuntukylin 14.04 64bit * 2 hadoop 2.6.2 os x上的jdk

背景       最近在写MapReduce程序时，一直在用IDE，发现编译器执行的程序，无论成功还是失败，在http://master:8088/上看不到记录，于是想不靠IDE手动编译运行一下程序，这一试出现了问题。问题       如果编译运行不在任何包中的代码，也就是在代码最上方，不存在package xxxxxx（xxxxxxxx表示代码所述的包名）则按照正常的流程编译、运行一般没什么问题。

简介(百度百科)         Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。环境介绍 操作系统：OSX EI C

简介         Mahout 是 Apache Software Foundation（ASF） 旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。此外，通过使用 Apache Hadoop 库，Mahout 可以有效地扩展到云中。         以上来自

简介         ZooKeeper是一个为分布式应用所设计的开源协调服务。它可以为用户提供同步、配置管理、分组和命名等服务。用户可以使用ZooKeeper提供的接口方便地实现一致性、组管理、leader选举及某些协议。ZooKeeper意欲提供一个易于编程的环境，所以它的文件系统使用了我们所熟悉的目录树结构。ZooKeeper是使用Java编写的，但是它支持Java和C两种编程语言接口。

背景       最近在管理集群时发现明明所有数据节点都已经正常启动了，而通过命令hadoop dfsadmin -report 显示的 Live datanodes却只有一个。同时，通过web页面查看http://master:50070，在Live Node那一栏也显示只有一个节点，点击进入该节点查看情况，发现是node1，但诡异的是：这时候点击刷新，刷新后的live node数仍然为1，但却变