- 博客(7)
- 资源 (7)
- 收藏
- 关注
原创 hadoop中mapreduce源码个人记录
以下主要分析记录map阶段:org.apache.hadoop.mapred.MapTask$MapOutputBufferpublic static class MapOutputBuffer<K extends Object, V extends Object> implements MapOutputCollector<K, V>, IndexedSortable{//省略...public void init(MapOutputCollector.Co
2020-11-24 20:55:52 152
原创 hadoop中mapreduce的内存环形缓冲区个人讲解
map阶段的内存环形缓冲区相关参数配置:mapreduce.task.io.sort.mb:排序文件时需要使用的缓冲内存总量,默认100mapreduce.map.sort.spill.percent:阈值,当内存达到80%的io.sort.mb,则写入到文件。以下是个人图解,后期概念在补齐:...
2020-11-23 20:17:21 1331
原创 Hive中支持正则表达式根据需求输出指定的列
本人采用hive-1.1版本表中的数据以及列名如下:日常工作中我们需要用到两种方式:第一种:过滤调不需要的列名如下:SELECT `(id|100name)?+.+` from st;不需要id和100name的列名第二种:需要某些有相似性的列名如下:SELECT `.+name` from st;需要以name为后缀的所有列名...
2020-11-23 16:20:42 2000 2
原创 YARN 各个阶段配置参数总结,方便查找优化
YARN配置参数介绍通信地址类参数: 参数名称 默认值 说明 Yarn.resourcemanager.address 0.0.0.0:8032 RM对外的IPC地址 Yarn.resourcemanager.scheduler.address 0.0.0.0:8030 调度器对外的IPC地址 Yarn.r
2020-11-18 20:30:07 1233
原创 sqoop支持Hcatalog使用hcatalog参数后问题集锦
官网:http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_purpose_4问题描述:sqoop1.4.6hadoop2.7.3hive-2.1.1本人编写的sqoop脚本如下:参数解释:--hcatalog-database指定HCatalog表的数据库名称。如果未指定,default则使用默认数据库名称。提供--hcatalog-database不带选项--hcatalog-table是错误的。这不是必需的.
2020-11-18 14:15:31 8398 6
原创 分享企业级HIVE数仓规范文档----对管理数仓很有帮助
数据仓库实施方案 文件编号:V0.1 生效日期: 编制人: 审核人: 批准人: 日期:2019.08.29 日期: 日期: 关键词 数据仓库数据模型 一、前言1.1.编写目的为了保证大数据平台整体可控性,实现脉络清晰的管理,提高开发效率和程序的可读性,降低程序编写...
2020-11-08 14:34:57 343
原创 Lua脚本介绍以及编辑器的介绍
编辑器软件LuaStudio一:Lua脚本 说来也巧,redis的大老板给了你解决这种问题的方法,那就是Lua脚本,而且redis的最新版本也支持Lua Script debug,这应该也是未来Redis的一个发展趋势,要想学好Redis,必会Lua Script。。。作为一门过程型动态语言,Lua有着如下的特性1、变量名m没有类型,值才有类型,变量名在运行时可与...
2020-11-08 14:17:04 5379
apache-tez-0.9.1.zip编译后的CDH5.12.1
2020-10-27
黑暗之魂游戏攻略
2017-01-13
毕业论文管理系统
2017-01-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人