u011919863的博客

数据倾斜如何处理

今天来说一下hive中的正则表达式，主要包含：元字符匹配、位置匹配、频率匹配1、元字符匹配(.) 表示匹配除换行符以外的任意字符。(\w) 表示匹配字母、下划线、数字 （\W匹配汉字）(\d) 表示匹配数字(\s) 表示匹配任意的空白符（tab 换行 空格）([ ]) 表示匹配方括号中任一字符([^匹配内容]) 表示不匹配方括号中任一字符2、位置匹配(^) 表示匹配字符串的开始，空值:^$($) 表示匹配字符串的结束(\b) 表示匹配单词的开始或结束。(..

一、hadoop mapreduce 过程理解（1）分片（split）操作该部分不属于map和reduce的主要过程，但是是整个计算框架比较消耗时间的一部分，为map做数据准备。split只是将源文件的内容分片形成一系列的 InputSplit，每个 InputSpilt 中存储着对应分片的数据信息（例如，文件块信息、起始位置、数据长度、所在节点列表…），每个InputS...