自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 资源 (7)
  • 收藏
  • 关注

原创 hadoop中mapreduce源码个人记录

以下主要分析记录map阶段:org.apache.hadoop.mapred.MapTask$MapOutputBufferpublic static class MapOutputBuffer<K extends Object, V extends Object> implements MapOutputCollector<K, V>, IndexedSortable{//省略...public void init(MapOutputCollector.Co

2020-11-24 20:55:52 152

原创 hadoop中mapreduce的内存环形缓冲区个人讲解

map阶段的内存环形缓冲区相关参数配置:mapreduce.task.io.sort.mb:排序文件时需要使用的缓冲内存总量,默认100mapreduce.map.sort.spill.percent:阈值,当内存达到80%的io.sort.mb,则写入到文件。以下是个人图解,后期概念在补齐:...

2020-11-23 20:17:21 1331

原创 Hive中支持正则表达式根据需求输出指定的列

本人采用hive-1.1版本表中的数据以及列名如下:日常工作中我们需要用到两种方式:第一种:过滤调不需要的列名如下:SELECT `(id|100name)?+.+` from st;不需要id和100name的列名第二种:需要某些有相似性的列名如下:SELECT `.+name` from st;需要以name为后缀的所有列名...

2020-11-23 16:20:42 2000 2

原创 YARN 各个阶段配置参数总结,方便查找优化

YARN配置参数介绍通信地址类参数: 参数名称 默认值 说明 Yarn.resourcemanager.address 0.0.0.0:8032 RM对外的IPC地址 Yarn.resourcemanager.scheduler.address 0.0.0.0:8030 调度器对外的IPC地址 Yarn.r

2020-11-18 20:30:07 1233

原创 sqoop支持Hcatalog使用hcatalog参数后问题集锦

官网:http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_purpose_4问题描述:sqoop1.4.6hadoop2.7.3hive-2.1.1本人编写的sqoop脚本如下:参数解释:--hcatalog-database指定HCatalog表的数据库名称。如果未指定,default则使用默认数据库名称。提供--hcatalog-database不带选项--hcatalog-table是错误的。这不是必需的.

2020-11-18 14:15:31 8398 6

原创 分享企业级HIVE数仓规范文档----对管理数仓很有帮助

数据仓库实施方案 文件编号:V0.1 生效日期: 编制人: 审核人: 批准人: 日期:2019.08.29 日期: 日期: 关键词 数据仓库数据模型 一、前言1.1.编写目的为了保证大数据平台整体可控性,实现脉络清晰的管理,提高开发效率和程序的可读性,降低程序编写...

2020-11-08 14:34:57 343

原创 Lua脚本介绍以及编辑器的介绍

编辑器软件LuaStudio一:Lua脚本 说来也巧,redis的大老板给了你解决这种问题的方法,那就是Lua脚本,而且redis的最新版本也支持Lua Script debug,这应该也是未来Redis的一个发展趋势,要想学好Redis,必会Lua Script。。。作为一门过程型动态语言,Lua有着如下的特性1、变量名m没有类型,值才有类型,变量名在运行时可与...

2020-11-08 14:17:04 5379

apache-tez-0.9.1.zip编译后的CDH5.12.1

CDH5.12.1 hadoop版本2.6.0 可用,hive-1.1.0 tez-0.9.1,同版本的小伙伴可以直接使用,复制文件里面的tez-dist/target下的tez-0.9.1.tar.gz即可

2020-10-27

bigdata资料.rar

hadoop个人总结的笔记,从简入难,以及收集了各种hadoop的面试问题和一些mr的操作题,涉及比较广泛

2020-05-28

bootstrap实现拖拽功能

实现报文xml的互转,界面拖拽功能,更友好

2019-04-08

黑暗之魂游戏攻略

2017-01-13

毕业论文管理系统

2017-01-13

64位Win7安装32位Oracl10g的步骤

64位Win7安装32位Oracl10g的步骤

2015-05-04

dom4j-1.6.1.jar

dom4j-1.6.1.jar

2014-09-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除