- 博客(4)
- 收藏
- 关注
RSS订阅
原创 从头开始系列(三)--Hadoop篇之MapReduce编程模型
标签（空格分隔）： 大数据 从头开始系列1MapReduce的一生1FileBlock2InputFormat3 RecordReader4 MapperKeyInValueInKeyOutValueOut5 ReducerkeyInIteratorValueInkeyOutValueOut6 RecordWriter7 OutputFormat2总结1、MapReduce的一生本
2018-04-25 16:19:15
449
原创 从头开始系列(二)--数据基准测试篇之TPC-DS
从头开始系列—数据基准测试篇之TPC-DS标签（空格分隔）： 大数据 从头开始系列1、准备工具TPC-DS不多做介绍了，根据官方提供得文档我们可以看到：可以做Ad hocOLAP查询等等，那么在大数据领域，我们可以使用TPC-DS来生成海量数据，并且使用它提供得测试语句来完成性能得基准测试。再官方网站下载相关软件包：http://www.tpc.org/tpc_documents_current_...
2018-04-24 19:57:20
4061
2
原创 从头开始系列(四)--Hadoop篇之Shuffle过程源码剖析
1、Map端Shuffle2、Reduce端shuffle本篇文章通过Hadoop2.7.5源码获得。1、Map端Shuffle必备条件:idea、一个WordCount的MR程序。 在开始之前，我们注意到，Shuffle是Map端输出——>Reduce端接收过程。在这个过程中我们很容易想到一个问题，那就是，我们该怎么知道Map端输出是在源码哪个部分，我们这样...
2018-04-27 08:35:23
1624
2
原创 从头开始系列(一)—HDP篇之Centos 7完全离线安装HDP2.6.X
从头开始系列—HDP篇之Centos 7离线安装HDP2.6.X标签（空格分隔）： 大数据 从头开始系列[TOC]题外话公司最近要搭建自己得大数据平台，因为是培训公司，就着实验环境来。所以，从头开始搭建大部分环境。总上考虑，我打算使用HDP来搭建公司的大数据平台。HDP能满足大部分需求。环境准备本次安装为离线安装。安装系统为：Centos 7三台服务器：双路24线程CPU、64G内存、1T硬盘节点...
2018-04-20 14:09:55
2863
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人