博客专栏  >  综合   >  Hadoop之旅

Hadoop之旅

本专栏主要是Hadoop及周边项目使用过程中的问题总结、包括框架原理分析和源代码解读。

关注
5 已关注
19篇博文
  • Hadoop2.x 体系结构和源码编译

    Hadoop2.x 体系结构和源码编译

    2017-01-15 11:07
    359
  • 分布式协调服务-Zookeeper

    本文主要介绍了下分布式协调服务-Zookeeper以及它的集群搭建和使用。

    2017-01-20 09:47
    476
  • hadoop-eclipse-plugin-2.x.x 插件编译

    在网上找的hadoop for eclipse 插件都不能用,决定自己去编译一个。Hadoop 提供了一个 Eclipse 插件以方便用户在 Eclipse 集成开发环境中使用 Hadoop,如管理 ...

    2017-01-11 10:04
    1256
  • 为hadoop集群设置静态IP

    由于之前设置集群的网络连接方式是Net ,而IP是动态的。我采用的是自己的电脑搭建的环境,换了个连接网络的地方,ip就变了。因此决定设置下静态IP。

    2017-01-13 09:25
    1726
  • Hadoop 2.6.0-cdh5.4.0集群环境搭建和Apache-Hive、Sqoop的安装

    搭建此环境主要用来hadoop的学习,因此我们的操作直接在root用户下,不涉及HA。Software: Hadoop 2.6.0-cdh5.4.0 Apache-hive-2.1.0-bin ...

    2016-12-02 22:42
    1300
  • Hadoop之Secondary NameNode

    NameNode存储文件系统的变化作为log追加在本地的一个文件里:edits。当一个NameNode启动时,它从一个映像文件:FsImage,读取的HDFS的状态,然后使用来自edits日志文件的e...

    2016-03-09 22:56
    4393
  • hadoop2.x源码编译

    介绍本篇主要会涉及以下内容: 学会编译hadoop2.x源码 明白如何将hadoop项目导入eclipse中 编译hadoop源码为什么要编译由于hadoop2.x 只支持Linux 32位,针对Li...

    2016-02-24 22:22
    996
  • Hadoop年度回顾与2016发展趋势

    问题导读: 1.Hadoop在2015年发展怎么样? 2.2016年Hadoop的发展趋势怎么样? 3.Hadoop在2015年影响了哪些技术的发展? 董西成,Hulu 网,专注于分布式计算和资源管...

    2016-01-06 10:34
    1163
  • 关于hadoop 2.7.1 集群安装及其平台上的实验

    转载请标明出处: http://blog.csdn.net/zwto1/article/details/50206861; 本文出自:【zhang_way的博客专栏】 版本:ha...

    2015-12-07 17:00
    1220
  • 分布式存储系统-HBASE

    简介HBase –Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBse技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hado...

    2015-07-26 22:57
    2826
  • Sqoop工具

    简介SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中 (2)把HDFS、Hive、HBase中的数据导出到MySQ...

    2015-07-04 16:44
    1394
  • 数据仓库工具:Hive

    为什么要选择Hive基于Hadoop的大数据的计算/扩展能力 支持SQL like查询语言 统一的元数据管理 简单编程Hive:Hive 可以对数据进行管理和查询。 在hadoop生态圈中属于...

    2015-06-12 16:47
    2165
  • 数据处理框架:Pig

    Pig pig 是基于hadoop的一个数据处理框架. MapReduce是使用java开发的。Pig有一套自己的数据处理语言。Pig的数据处理过程要转化为MR 来运行。 Pig的数据处理语言是数据流...

    2015-06-05 11:22
    1239
  • 分布式日志收集系统:Flume

    Flume知识点:Event 是一行一行的数据 1.flume是分布式的日志收集系统,把收集来的数据传送到目的地去。 2.flume里面有个核心概念,叫做agent。agent是一个java进程...

    2015-05-30 18:37
    2062
  • Hadoop集群环境安装

    Hadoop集群环境搭建,模拟真实的集群情况

    2015-05-11 19:48
    1141
  • 运行wordcount 导入FileUtil.java文件出现错误解决办法

    hadoop:运行wordcount 程序导入FileUtil.java文件出现错误解决办法

    2015-03-14 10:05
    641
  • Hadoop中的RPC机制分析

    带着一下问题去阅读: 1. 客户端和服务端的连接是怎样建立的? 2. 客户端是怎样给服务端发送数据的? 3. 客户端是怎样获取服务端的返回数据的? 分析对象:hadoop版本:hadoop 0.20...

    2015-03-11 15:16
    800
  • hadoop伪分布模式搭建(下)

    Hadoop可以在单节点上以所谓的伪分布式模式运行,此时每一个Hadoop守护进程都作为一个独立的Java进程运行。此篇为hadoop伪分布式安装。

    2015-03-02 18:06
    1056
  • hadoop 伪分布模式搭建(上)

    Hadoop可以在单节点上以所谓的伪分布式模式运行,此时每一个Hadoop守护进程都作为一个独立的Java进程运行。此篇为hadoop伪分布式安装。

    2015-03-01 14:43
    1092

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部