自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 MR 切片机制 & MR全流程

1、概念     2、Split机制   3、MR Shuffle过程 4、MR中REDUCE与MAP写作过程    5、MR全貌

2016-10-23 17:12:36 3351 0

转载 Spark Streaming 数据接收优化

Spark Streaming 数据接收优化 字数570 阅读1206 评论1 喜欢5 看这篇文章前,请先移步Spark Streaming 数据产生与导入相关的内存分析, 文章重点讲的是从Kafka消费到数据进入BlockManager的这条线路的分析。 这篇内容是个人的一...

2016-10-10 20:26:47 1325 0

转载 Spark Streaming 数据产生与导入相关的内存分析

Spark Streaming 数据产生与导入相关的内存分析 字数1430 阅读2128 评论3 喜欢10 前言 我这篇文章会分几个点来描述Spark Streaming 的Receiver在内存方面的表现。 一个大致的数据接受流程一些存储结构的介绍哪些点可能导致内存问...

2016-10-10 20:25:40 268 0

转载 Hive 设置map 和 reduce 的个数

一、    控制hive任务中的map数:  1.    通常情况下,作业会通过input的目录产生一个或者多个map任务。  主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;...

2016-10-09 17:07:41 552 1

转载 使用 FileSystem JAVA API 对 HDFS 进行读、写、删除等操作

使用 FileSystem JAVA API 对 HDFS 进行读、写、删除等操作  分类: MapReduce(67)  Hadoop文件系统  基本的文件系统命令操作, 通过hadoop fs -help可以获取所有的命令的详细帮助文件。  J...

2016-10-09 15:28:27 666 0

原创 hive count(*)问题处理

现象:在Hive 中执行select语句,在生产环境正常,而测试环境select count(*) ,并且测试环境中直接非聚合select  语句也正常 处理:在控制错误非常简单,直接返回2错误代码。到yarn 资源管理器中查看,好像资源不足的原因 。开始想到hive 参数,对生产环境和测试环境的...

2016-10-05 19:29:58 5364 0

转载 Hadoop中的几种文件格式

Hadoop中的几种文件格式 发表于2016/8/1 19:50:28  241人阅读 分类: Hadoop Hadoop中的文件格式大致上分为面向行和面向列两类: 面向行:同一行的数据存储在一起,即连续存储。SequenceFile,MapFile,Avr...

2016-10-05 17:01:54 4385 0

转载 Yarn 内存分配管理机制及相关参数配置

Yarn 内存分配管理机制及相关参数配置 理解Yarn的内存管理与分配机制,对于我们搭建、部署集群,开发维护应用都是尤为重要的,对于这方面我做了一些调研供大家参考。 关于Yarn的详细介绍请参考【Hadoop Yarn详解】 一、相关配置情况 关于Yarn内存分配与管理,主要涉及到了Res...

2016-10-05 15:56:31 731 0

提示
确定要删除当前文章?
取消 删除