2020年11月_cuichunchi

12月 11月 10月 09月 08月 07月 06月 05月 04月

原创 hadoop中mapreduce源码个人记录

以下主要分析记录map阶段：org.apache.hadoop.mapred.MapTask$MapOutputBufferpublic static class MapOutputBuffer<K extends Object, V extends Object> implements MapOutputCollector<K, V>, IndexedSortable{//省略...public void init(MapOutputCollector.Co

2020-11-24 20:55:52 152

原创 hadoop中mapreduce的内存环形缓冲区个人讲解

map阶段的内存环形缓冲区相关参数配置：mapreduce.task.io.sort.mb:排序文件时需要使用的缓冲内存总量，默认100mapreduce.map.sort.spill.percent：阈值，当内存达到80%的io.sort.mb，则写入到文件。以下是个人图解，后期概念在补齐：...

2020-11-23 20:17:21 1331

原创 Hive中支持正则表达式根据需求输出指定的列

本人采用hive-1.1版本表中的数据以及列名如下：日常工作中我们需要用到两种方式：第一种：过滤调不需要的列名如下：SELECT `(id|100name)?+.+` from st;不需要id和100name的列名第二种：需要某些有相似性的列名如下：SELECT `.+name` from st;需要以name为后缀的所有列名...

2020-11-23 16:20:42 2000 2

原创 YARN 各个阶段配置参数总结，方便查找优化

YARN配置参数介绍通信地址类参数：参数名称默认值说明 Yarn.resourcemanager.address 0.0.0.0:8032 RM对外的IPC地址 Yarn.resourcemanager.scheduler.address 0.0.0.0:8030 调度器对外的IPC地址 Yarn.r

2020-11-18 20:30:07 1233

原创 sqoop支持Hcatalog使用hcatalog参数后问题集锦

官网：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_purpose_4问题描述：sqoop1.4.6hadoop2.7.3hive-2.1.1本人编写的sqoop脚本如下：参数解释：--hcatalog-database指定HCatalog表的数据库名称。如果未指定，default则使用默认数据库名称。提供--hcatalog-database不带选项--hcatalog-table是错误的。这不是必需的.

2020-11-18 14:15:31 8398 6

原创分享企业级HIVE数仓规范文档----对管理数仓很有帮助

数据仓库实施方案文件编号：V0.1 生效日期：编制人：审核人：批准人：日期：2019.08.29 日期：日期：关键词数据仓库数据模型一、前言1.1.编写目的为了保证大数据平台整体可控性，实现脉络清晰的管理，提高开发效率和程序的可读性，降低程序编写...

2020-11-08 14:34:57 343

原创 Lua脚本介绍以及编辑器的介绍

编辑器软件LuaStudio一：Lua脚本说来也巧，redis的大老板给了你解决这种问题的方法，那就是Lua脚本，而且redis的最新版本也支持Lua Script debug，这应该也是未来Redis的一个发展趋势，要想学好Redis，必会Lua Script。。。作为一门过程型动态语言，Lua有着如下的特性1、变量名m没有类型，值才有类型，变量名在运行时可与...

2020-11-08 14:17:04 5379