![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
TinyNasubi
Only when you really know what you search for in your life, can you put you best effort in it!
展开
-
hive任务 处理小文件合并的参数配置
hive 输出端 小文件合并 参数配置一. 小文件产生使用hive过程中经常会遇到小文件问题:①,在执行插入数据操作过程中,可能会产生小文件;②,map-only作业,可能会产生小文件;③,map-reduce作业,每个reduce输出一个文件,可能产生小文件二. 小文件影响① hdfs存储:存储过多小文件会产生大量元数据,会增加在NameNode中占有的空间,影响集群健康和拓展② hi...原创 2019-11-29 09:14:05 · 3826 阅读 · 0 评论 -
Hive中正则表达式替换函数 regexp_replace和正则表达式解析函数 regexp_extract的用法总结
Hive中 正则表达式替换函数 regexp_replace和正则表达式解析函数 regexp_extract的用法总结Hive中有很多字符串相关的函数,其中有两个与正则表达式相关的比较特殊,近期使用的时候做了较多的测试,做个笔记,鼓励一下自己,每天进步一点点。正则表达式替换函数 regexp_replace正则替换是常用的字符串替换函数语法:regexp_replace(string ...原创 2019-10-24 18:15:57 · 22822 阅读 · 0 评论 -
Hive数据库中,利用rtrim()和regexp_replace()去掉字符串'1234034214sdf00000'最后几位的'0'
需求场景:去掉字符串’1234034214sdf00000’后面几个’0’场景分析:①先用regexp_replace()把’0’替换为空格’ ’②rtrim()去掉最后的空格’ ’③将空格’ ‘替换为’0’具体操作#1 插入一条数据insert into table testzhengze values(4,"1234034214sdf00000");#2 查看数据sel...原创 2019-10-22 17:54:12 · 6782 阅读 · 0 评论 -
Hive-CDH参数修改指南--增加自定义参数--命令行显示当前数据-查询结果显示表头(类似修改源生Hive的hive-site.xml文件)
Hive-CDH参数修改指南(类似修改源生Hive的hive-site.xml文件)问题描述 默认配置下,每次启动Hive都要手动输入配置选项, 才能实现:在命令行显示当前数据库(set hive.cli.print.current.db=true;)、查询结果显示表头(set hive.cli.print.header=true;)。 而且CDH版的Hive直接修改hive-site.x...原创 2019-10-23 12:07:22 · 1684 阅读 · 0 评论