Hadoop
文章平均质量分 91
G_Youda
这个作者很懒,什么都没留下…
展开
-
Hadoop的简单单词统计案例
Hadoop的简单单词统计案例在Hadoop学习过程中,单词统计作为一个最基本的案例,非常简单实用,是每一个入门菜鸟必须要掌握的一个例子,可以通过这个简单的小案例了解Hadoop的基本运行原理和MapReduce程序的开发流程引入相关Hadoop目录相关Jar文件:(hdfs(必须),common(必须),mapreduce(必须))引入配置文件:cor原创 2017-09-15 11:05:17 · 1566 阅读 · 0 评论 -
Hadoop分组统计计算案例
Hadoop分组统计计算案例假如现在有一个用户流量使用情况的日志表,需要对用户的上行流量,下行流量和总流量进行统计;同时还要按照号码的前3位不同进行分别输出。日志记录如下:(【2】号码,【8】上行流量,【9】下行流量,中间Tab隔开)思路:1、设计一个对象,记录手机号,上行流量,下行流量,总流量。2、设计分组规则3、遍历所有行得到每一行的字符串。4、分割原创 2017-09-15 12:11:48 · 1686 阅读 · 0 评论 -
基于HA机制的Hadoop集群搭建
简介 HA(High Available)机制的集群相比传统的方式更加安全可靠,由于有了备用节点的存在,当主节点(Active)发生故障的时候备用节点(StandBy)可以迅速无缝的切换到Active状态替换掉故障节点,保证了系统的高可用。以下通过一个示例详细说明如何搭建一个高可用的Hadoop集群。实验环境:CentOS6.4;JDK1.7;Hadoop2.4.1;ZooKeep原创 2017-09-17 16:05:41 · 521 阅读 · 0 评论