Hadoop
ronmy
这个作者很懒,什么都没留下…
展开
-
[参考]大数据之快速搭建hadoop2.6集群指南
分类: HADOOP本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。OK话不多说啦,具体操作详见如下操作步骤~~转载 2017-03-22 23:16:21 · 267 阅读 · 0 评论 -
[参考]Hadoop集群完全分布式模式环境部署
Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲,可以分成两大类角色:Mas转载 2017-03-22 23:19:23 · 362 阅读 · 0 评论 -
编写简单的Mapreduce程序并部署在Hadoop2.2.0上运行
经过几天的折腾,终于配置好了Hadoop2.2.0(如何配置在Linux平台部署Hadoop请参见本博客《在Fedora上部署Hadoop2.2.0伪分布式平台》),今天主要来说说怎么在Hadoop2.2.0伪分布式上面运行我们写好的Mapreduce程序。先给出这个程序所依赖的Maven包:0102030405060转载 2017-03-22 23:22:05 · 584 阅读 · 0 评论 -
Hadoop初探之Hadoop生态圈
http://blog.chinaunix.net/uid-22312037-id-3969789.html一、简介 Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来,Hadoop是一个可以更容易开发和运行转载 2017-03-22 23:35:28 · 8877 阅读 · 0 评论 -
Hadoop学习笔记:MapReduce框架详解
原文出处: 夏天的森林 开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,只有当我真正理解了这套技术解决了什么问题时候,我后续的学习就能逐步的加快,而转载 2017-04-15 09:07:27 · 452 阅读 · 0 评论 -
hadoop 2.7.1安装和配置
一、安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:192.168.241.128主机名:admin安装用户:root二、安装JDK 安装JDK1.7或者以上版本。这里安装jdk1.7.0_79。 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html转载 2017-04-21 18:18:13 · 868 阅读 · 0 评论 -
Kafka+Storm+HDFS整合实践
http://shiyanjun.cn/archives/934.html在基于Hadoop平台的很多应用场景中,我们需要对数据进行离线和实时分析,离线分析可以很容易地借助于Hive来实现统计分析,但是对于实时的需求Hive就不合适了。实时应用场景可以使用Storm,它是一个实时处理系统,它为实时处理类应用提供了一个计算模型,可以很容易地进行编程处理。为了统一离线和实时计算,一般情转载 2017-04-21 18:19:23 · 520 阅读 · 0 评论