博客专栏  >  云计算   >  Hadoop基础教程

Hadoop基础教程

主要记录博主在Hadoop学习的过程中的一些过程和心得,重在和大家分享,同时理清学习过程的一些思路。在该篇专栏中会陆续 更新blog,主要关于Hadoop(MapReduce和HDFS)、HBase、Hive、Pig、Sqoop等Hadoop极其相关项目的基础教程,敬请关注...

关注
12 已关注
15篇博文
  • 【HBase基础教程】7、HBase之读取HBase数据写入HDFS

    本blog介绍如何读取Hbase中的数据并写入到HDFS分布式文件系统中。读取数据比较简单,我们借用上一篇【HBase基础教程】6、HBase之读取MapReduce数据写入HBase的hbase数据...

    2015-03-05 19:46
    3148
  • 【HBase基础教程】6、HBase之读取MapReduce数据写入HBase

    本blog将介绍利用MapReduce操作HBase,借助最熟悉的单词计数案例WordCount,将WordCount的统计结果存储到HBase,而不是HDFS。开发环境 硬件环境:Centos 6....

    2015-03-05 19:41
    2936
  • 【HBase基础教程】5、HBase API访问

    开发环境硬件环境:Centos 6.5 服务器4台(一台为Master节点,三台为Slave节点) 软件环境:Java 1.7.0_45、Eclipse Juno Service Release 2...

    2015-03-05 19:33
    1970
  • 【HBase基础教程】4、HBase Shell DML操作

    DML(Data Manipulation Language)是数据操纵语言,用户通过它可以实现对数据库的基本操作。例如,对表中数据的查询、插入、删除和修改。 在DML中,应用程序可以对数据库作插,删...

    2015-03-05 19:27
    1292
  • 【HBase基础教程】3、HBase Shell DDL操作

    DDL(Data Definition Language)是数据库模式定义语言,是用于描述数据库中要存储的现实世界实体的语言,本节内容将执行关于Hbase的DDL操作,包括:数据库表的建立、查看所有表...

    2015-03-05 19:25
    1672
  • 【HBase基础教程】2、HBase之完全分布式模式安装

    上一篇blog我们介绍了Hbase的单机模式安装与伪分布式的安装方式,本篇blog我们将详细介绍如何搭建hbase完全分布式环境,搭建hbase完全分布式环境的前提是我们已经搭建好了hadoop完全分...

    2015-03-05 19:22
    2961
  • 【HBase基础教程】1、HBase之单机模式与伪分布式模式安装

    在这篇blog中,我们将介绍Hbase的单机模式安装与伪分布式的安装方式,以及通过浏览器查看Hbase的用户界面。搭建hbase伪分布式环境的前提是我们已经搭建好了hadoop完全分布式环境,搭建ha...

    2015-03-05 19:17
    7014
  • 【Hadoop基础教程】9、Hadoop之倒排索引

    倒排索引是文档检索系统中最常用的数据结构,被广泛用于全文搜索引擎。它主要是用来存储某个单词(或词组)在一个文档或一组文档的存储位置的映射,即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文...

    2015-03-05 19:03
    2483
  • 【Hadoop基础教程】7、Hadoop之一对一关联查询

    我们都知道一个地址拥有着多家公司,本案例将通过两种类型输入文件:address类(地址)和company类(公司)进行一对多的关联查询,得到地址名(例如:Beijing)与公司名(例如:Beijing...

    2015-03-06 08:52
    1521
  • 【Hadoop基础教程】6、Hadoop之单表关联查询

    本blog主要通过输入文件中的child字段和parent字段进行单表关联查询,推导出哪些用户具有child与grandparent关系。 开发环境 硬件环境:Centos 6.5 服务器4台(一台为...

    2015-03-04 09:48
    1480
  • 【Hadoop基础教程】5、Hadoop之单词计数

    单词计数是最简单也是最能体现MapReduce思想的程序之一,可以称为MapReduce版“Hello World”,该程序的完整代码可以在Hadoop安装包的src/example目录下找到。单词计...

    2015-03-04 09:33
    4196
  • 【Hadoop基础教程】4、Hadoop之完全分布式环境搭建

    上一篇blog我们完成了Hadoop伪分布式环境的搭建,伪分布式模式也叫单节点集群模式, NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTrac...

    2015-03-05 18:44
    3020
  • 【Hadoop基础教程】3、Hadoop之伪分布式环境搭建

    伪分布式模式即单节点集群模式,所有的守护进程都运行在同一台机器上。这种模式下增加了代码调试功能,可以查看内存、HDFS文件系统的输入/输出,以及与其他守护进程交互。以hadoop用户远程登录K-Mas...

    2015-03-05 18:42
    1406
  • 【Hadoop基础教程】2、Hadoop之单机模式搭建

    单机模式所需要的系统资源是最少的,这种安装模式下,Hadoop的core-site.xml、mapred-site.xml、hdfs-site.xml配置文件均为空。默认情况下,官方hadoop-1....

    2015-03-05 18:43
    1640
  • 【Hadoop基础教程】1、Hadoop之服务器基础环境搭建

    开发环境 1安装环境 2 用户配置 2 sudo权限配置 3 网络配置 4 关闭防火墙 5 安装JDK工具 您可能喜欢 本blog以K-Master服务器基础环境配置为例分别演示用户配置、s...

    2015-03-05 18:43
    2643

Java编程
944403
img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部