自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

悉心耕耘

Keep Coding..

原创 大数据浅谈

本文主要介绍了大数据技术的基本知识,包括MapReduce和YARN的基本原理等。 一、大数据概要 1.1定义 什么是大数据?对此定义颇多,下面是来自百度百科的解释: 大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有...

2019-06-29 08:14:32

阅读数 430

评论数 0

原创 MapReduce实现sql的group by和join

一、group by: HiveQL:select deptno, sum(sal) from emp group by deptno order by deptno; 场景模拟:要求计算出每个部门的工资总额。 package com.szh.hadoop; import java.io...

2019-06-18 11:04:01

阅读数 163

评论数 0

原创 从WordCount了解MapReduce的运行机制

前言 大数据环境CDH已搭建完毕,第一个MapReduce程序wordcount也已成功运行,接下来我们需要通过WordCount来了解MapReduce的运行机制。 如何大致了解MapReduce的运行机制呢?有两点,(1)源码,对一个搞开发的人来说,我都有你MapReduce所有相关的源码...

2019-06-13 23:37:20

阅读数 70

评论数 0

原创 运行第一个MapReduce程序

本文的环境基于CDH5的搭建https://blog.csdn.net/songzehao/article/details/91044032 大数据环境CDH5已搭建成功,自带example也已跑通,总不能老跑人家的mapreduce程序吧,所以是时候跑跑自己写的mr了。 怎么写程序先不管,...

2019-06-12 17:17:01

阅读数 372

评论数 0

原创 CDH5如何重新配置主机角色

可能在Cloudera Manager的安装过程中,最初的主机角色配置不够恰当,那之后在使用CDH的过程中,该如何重新配置主机角色呢?

2019-06-10 22:16:31

阅读数 646

评论数 0

原创 CDH5搭建

本文介绍了CDH5的搭建步骤及遇到的问题和解决方案。 参考自:https://www.cnblogs.com/zhangleisanshi/p/7575579.html及https://www.cnblogs.com/pojishou/archive/2017/01/12/6267616.ht...

2019-06-06 17:28:11

阅读数 265

评论数 0

提示
确定要删除当前文章?
取消 删除