博客专栏  >  互联网   >  Hadoop

Hadoop

Hadoop平台安装、开发、运行,以及读书笔记整理。

关注
2 已关注
13篇博文
  • Hadoop 研发之远程调试详细剖析--WordCount V2.0

    前言之前学习Hadoop时,曾经错误的以为开发的Hadoop程序必须在运行的Hadoop集群上才能运行和调试,基于这个错误认识,花费了较多的时间在mac上搭建伪分布式Hadoop集群和IDE集成开发环...

    2016-08-20 17:25
    1784
  • mac下hadoop 2.6.0编译native library

    一、为什么要编译native librarymac单机模式安装Hadoop后启动,报错:WARN util.NativeCodeLoader: Unable to load native-hadoop...

    2016-06-28 23:48
    2959
  • mac hbase程序启动警告:找不到hadoop native lib

    一、问题描述在eclipse中开发完hbase程序,启动时有警告: WARN [main] util.NativeCodeLoader (NativeCodeLoader.java:(62)) -...

    2016-07-03 22:49
    4652
  • 大数据处理的关键层次架构

    图1、大数据处理的关键架构层 以下是对上图中各架构层的说明 一、数据存储层 宽泛地讲,据对一致性(consistency)要求的强弱不同,分布式数据存储策略,可分为ACID和BASE两大阵营。...

    2016-04-01 16:30
    3076
  • 笔记:HDFS读取和写入数据流

    一、client从hdfs读取数据流二、client写入hdfs数据流

    2016-04-14 22:52
    4833
  • 笔记:MapReduce作业调度运行对比

    一、Hadoop运行MapReduce流程二、YARN运行MapReduce流程

    2016-04-15 12:58
    5661
  • 大数据工程师技能图谱

    原文链接:http://toutiao.com/a6267290210372747522/ 一、大数据通用处理平台 Spark Flink Hadoop 二、分布式存储 HDFS...

    2016-03-31 13:39
    1209
  • spark读书笔记

    一、Spark在某种程度上可以说是对Map/Reduce计算引擎的替换或补充,因为Spark在Map/Reduce并不擅长的迭代计算等方面有很大优势,此外,spark还是一个基于DAG任务规划的先进计...

    2015-11-30 23:47
    343
  • SQL与NoSQL比较(整理)

    一、SQL 遵循ACID原则 二、NoSQL 遵循CAP原则:分布式系统只能满足此三项中的两项而不可能满足全部三项 C:一致性(Consistency)(所有节点在同一时间具有相同的数据)...

    2015-11-30 22:12
    730
  • hive和hbase比较(整理)

    hive 1、可以理解为一种SQL执行引擎,对SQL的支持最终转换为map/reduce任务 2、不支持更新、删除操作,但可以插入 3、任务不是实时执行,用时一般为数分钟到数小时 4、本身可以不存储数...

    2015-11-30 21:58
    350
  • storm读书笔记---storm运行流程

    一、storm是一个用于实时流式计算的分布式计算引擎,弥补了Hadoop在实时计算方面的不足(Hadoop在本质上是一个批处理系统)。 二、storm在实际应用场景中的位置一般如下: 其中的编...

    2015-11-29 00:25
    1537
  • hadoop eclipse 程序调试

    运行环境: Java version “1.7.0_80” + +

    2015-09-23 11:21
    609
  • mac hadoop install & run application

    本文参考: http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html J2...

    2015-09-15 17:25
    608

img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部