hadoop
darkdragonking
这个作者很懒,什么都没留下…
展开
-
Hadoop点滴
原文地址点击此处本文的配图至少我看得挺明白。Hadoop是什么?Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用Java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算.Hadoop框架中最核心设计就是:HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算.数据在H转载 2016-04-25 13:35:41 · 474 阅读 · 0 评论 -
Hadoop2.8 安装心得
一、安装jdk,安装hadoop以及配置ssh无密码登录的过程就跳过了,这部分可以参考《细细品味hadoop》来进行 区别在于,细细品味是以1.x为标杆编写的。 二、2.x的最大进步在于,引入了yarn,在这个系统中,mapreduce成为了它的一个组件而存在,并且是可替换的组件。比如使用spark。所以配置的过程中,需要注意yarn的相关配置文件的使用原创 2017-05-16 20:10:16 · 8924 阅读 · 2 评论 -
一次失败的hadoop集成eclipse的测试
1、真可谓步步该灾处处有难啊。。。 2、代码如下package com.xx.hadoop.test.wordcount;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hado原创 2017-05-17 15:47:30 · 2065 阅读 · 1 评论 -
由一个自定义的MapReduce程序报错学习到的东西
第一步,说需求和逻辑统计手机用户的上行和下行以及汇总的手机流量,示例数据见sample文件实现思路:map: 输入:key为行的偏移量(其实就是拆分每一行数据得到的数组的第一个元素)。value为剩余的数组元素 输出:key为手机号,value是一个整体,包括上行、下行、汇总 其中手机号是text类型,value是一个自定义的类型,注意要实原创 2017-06-16 17:57:17 · 534 阅读 · 0 评论 -
Hadoop 2.8 的namenode 从单点向双namenode的HA的升级过程,含wordcount验证
配置双namenode的目的就是为了防错,防止一个namenode挂掉数据丢失,具体原理本文不详细讲解,这里只说明具体的安装过程。Hadoop HA的搭建是基于Zookeeper的,关于Zookeeper的搭建可以查看这里 hadoop、zookeeper、hbase、spark集群环境搭建 ,本文可以看做是这篇文章的补充。这里讲一下Hadoop配置安装原创 2017-05-27 16:05:57 · 1803 阅读 · 2 评论 -
在hadoop2.8的HA+zookeeper的环境下安装分布式HBase 1.2.5 以及HMaster的高可用(HA)
书接上回http://write.blog.csdn.net/postedithttp://write.blog.csdn.net/postedit在上次我们搭建了hadoop2.8的高可用NameNode的HA环境,并引入了zookeeper这次我们要在这个环境的基础上搭建hbase先说规划编号主机名用途0xxC原创 2017-06-07 17:32:04 · 5318 阅读 · 2 评论