MapReduce篇
MapReduce专栏申请,博客详细描述了MapReduce的相关内容.
一只懒得睁眼的猫
励志成为一个技术大牛!
展开
-
Hadoop伪分布安装详解+MapReduce运行原理+基于MapReduce的KNN算法实现
本篇博客将围绕Hadoop伪分布安装+MapReduce运行原理+基于MapReduce的KNN算法实现这三个方面进行叙述。 (一)Hadoop伪分布安装1、简述Hadoop的安装模式中–伪分布模式与集群模式的区别与联系. Hadoop的安装方式有三种:本地模式,伪分布模式,集群(分布)模式,其中后两种模式为重点,有意义 伪分布:如果Hadoop对应的Java进程都运行在一个物理机器上,称为伪原创 2016-06-15 16:25:46 · 13169 阅读 · 22 评论 -
Hadoop开发过程中所遇到的那些坑
核心内容: 1、Hadoop开发过程中常见问题即解决方案在Hadoop开发的过程中,我们总是遇到各种各样的问题,今天就整理总结一下: 万能的解决步骤:6个检查+查看具体日志 在Hadoop开发的过程中如果遇到各种异常,首先使用jps命令查看进程的启动是否正常,然后在去查看相关的日志文件,但是在查看相关日志之前,你可以先检查一下面几点: 1、防火墙原因:检查各个节点的防火墙是否关闭成原创 2016-12-25 15:21:21 · 12257 阅读 · 1 评论 -
MapReduce程序开发中的FileInputFormat与TextInputFormat
2016年4月3日20:17:44 MapReduce程序开发中的FileInputFormat与TextInputFormat 在MapReduce程序的开发过程中,往往需要用到FileInputFormat与TextInputFormat,但是这两个类究竟是用来做什么的,在源代码的追踪过程中,我们会发现TextInputFormat这个类继承自FileIn原创 2016-04-03 21:14:24 · 7048 阅读 · 1 评论 -
Hadoop中的自定义数据类型(序列化、反序列化机制)详解
大家都知道,Hadoop中为Key的数据类型必须实现WritableComparable接口,而Value的数据类型只需要实现Writable接口即可;能做Key的一定可以做Value,能做Value的未必能做Key.但是具体应该怎么应用呢?—-本篇文章将结合手机上网流量业务进行分析。 先介绍一下业务场景:统计每个用户的上行流量和,下行流量和,以及总流量和。 本次描述所用数据: 日志格式描述:原创 2016-07-07 15:18:06 · 3049 阅读 · 0 评论