hadoop 初识

Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。 Hadoop框架中最核心的设计就是:MapReduce和HDFS。MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。 Ma...
阅读(647) 评论(0)

ubuntu 平台hadoop2.6.0 按装hive 及注意事项

hive 是一个SQL 解析引擎,可以在hive 中创建表,执行sql 语句等。创建 的表是存储在hdfs 中,执行的sql 语句是通过MapReduce 执行的。可以通过执 行sql 语句来代替编写MapReduce 作业,具体安装配置方法如下: (1)解压缩、设置环境 本文中hive 使用的版本是hive-1.1.0.tar.gz。我们在/usr/local/hadoop 目录下 解...
阅读(619) 评论(0)

ubuntu平台hadoop2.6.0安装Hbase

hadoop 2.6.0+hbase0.99.2 下载解压 hbase tar -zxvf hbase-0.99.2.tar.gz 将hbase 压缩包解压到一个可用目录。(本文安装目录:/usr /local/hadoop /habs e)。 (2)修改配置文件 首先需要将hbase 下的bin 目录添加到系统的path 中,修改/etc/profile,添加 如下的内容: exp...
阅读(860) 评论(0)

ubuntu 下mahout 的安装配置

1安装环境 系统/软件明称 版本 下载地址 备注 hadoop 0.20.2 http://mirror.esocc.com/apache/hadoop/common/ mahout 0.4 http://mirrors.cnnic.cn/apache/mahout/0.4/ 操作系统...
阅读(978) 评论(0)

ubuntu14.04.1 下hadoop2.6.0 的安装

当开始着手实践Hadoop时,安装Hadoop往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有Hadoop安装配置教程,但由于对Linux环境不熟悉,书上跟官网上简略的安装步骤新手往往Hold不住。加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情。 本教程由厦门大学数据库实验室出品,转载请注明。本教程适合于原生Hadoop 2,包括Hadoop...
阅读(495) 评论(0)
    个人资料
    • 访问:640185次
    • 积分:9011
    • 等级:
    • 排名:第2312名
    • 原创:305篇
    • 转载:34篇
    • 译文:0篇
    • 评论:209条
    博客专栏