博客专栏  >  移动开发   >  Hadoop 实战

Hadoop 实战

总所周知,2005年发布的 Hadoop 解决了大数据的存储和计算问题,已成为大数据处理的事实标准。围绕 hadoop 的分布式文件系统(HDFS),分布式计算框架(MapReduce),有开发了一系列的框架(hadoop 生态圈)来简化大数据的存储和计算问题。

关注
11 已关注
10篇博文
  • CentOS hadoop 伪分布式安装步骤

    环境的准备 设置ip地址采用host only网络连接方式,桌面右键网络连接,选择edit connections,设置静态ip(vmnet1保持一致) 执行命令 service networ...

    2016-03-03 21:16
    442
  • CentOS hadoop 分布式集群的搭建

    假定集群中的全部节点,彼此之间已实现免密码登录(共An−1nA_n^{n-1}对关系),节点都配置好hadoop(每个节点上的伪分布式已搭建完毕,伪分布式的搭建参见 CentOS hadoop 伪分布...

    2016-03-05 18:18
    457
  • hadoop 分布式切换为伪分布式(单机)

    CentOS hadoop 伪分布式安装步骤 CentOS hadoop 伪分布式安装步骤 我们知道 hadoop 伪分布式向分布式转换时,主要修改hadoop 的两个配置文件, conf/slave...

    2016-03-07 17:13
    559
  • Hive 基础及安装

    Hive 基础 (1)在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据,同时可以查询hadoop中的数据。a) 所谓 hadoop 中的数据,是指存储在 hdfs 文件系统上的...

    2016-03-10 14:53
    457
  • SQOOP 基础及安装

    SQOOP 是hadoop生态圈中使用较为简单的一款产品; (1)SQOOP 命令是转换为 map 任务执行的,再次可见hadoop(hdfs、MapReduce)居于hadoop生态圈的核心位...

    2016-03-12 10:59
    319
  • SQOOP——MySQL 和 HDFS 的桥梁

    将数据从 mysql import 到 HDFS 中我们要使用 mysql 的话,意味着要对其进行连接,自然使用 JDBC(Java Data Base Connectivity)。在之前配置 hiv...

    2016-03-12 16:36
    424
  • 如何将 hadoop1.1.2/1.2.1 源码关联到 Eclipse

    最为关键的一点,jre 的版本不宜过高,有一点明确的是,jre6 是可用的,jre8 是出编译错误的。step 1:新建工程,设置 jre 的版本 并下调编译级别: step 2:拷贝...

    2016-03-14 12:30
    556
  • MapReduce 原理及执行过程

    (1)MapReduce 是一种分布式计算框架,由 Google 提出,主要用于搜索领域,以解决海量数据的计算问题。(分布式存储和分布式计算发轫于 Google 这样的公司是不足为奇的) (2)Map...

    2016-03-15 08:38
    613
  • WordCount——MapReduce 实例入门

    本文我们从一个简单的实例出发,统计文本中不同单词出现的次数,来讲述 MapReduce 的执行流程。考虑如下的文本信息(文件名为hello):hello you hello meMapReduce 工...

    2016-03-15 10:04
    473
  • hadoop 2.6 伪分布式的安装

    我们选择安装的版本为: hadoop-2.6.0-cdh5.4.0.tar.gz。一、下载、解压二、修改配置文件配置文件在 hadoop-2.6.0-cdh5.4.0/etc/hadoop/ 路径下...

    2016-03-18 19:42
    426
img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部