weixin_44902108的博客

HIVE 数据倾斜浅谈

HIVE 优化浅谈hive不怕数据量大，导致运行慢的主要原因是数据倾斜。hive的运行机制这里就不再赘述，咱们直入正题，聊一下hive的优化方法。优化点一：业务逻辑优化1.去除冗余逻辑对于复杂业务逻辑来说，在非数据倾斜的情况下，最有效的优化方式就是对业务逻辑的优化，去掉冗余的逻辑过程，能一步完成的不要分两步。尤其对于旧逻辑优化及数据迁移工作中较为常见。2.重复逻辑落临时表复杂的业务场景很可能会有复用的逻辑，把重复的逻辑落入临时表中不仅能减少资源消耗，还能有利于后期的代码维护。优化点二：减少读取

hive UDF函数取最新分区1.pom文件<dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec --> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId>

我们在使用动态分区的进程中，有时候需要新增字段，新增之后，发现该字段一直为空，无论怎么插入数据，该字段值始终不变。过去的做法就是把表删了，重建带新字段的新表，问题就解决了，今天尝试了一种新的方法，也完美解决了这个问题。ALTER TABLE table_name [PARTITION partition_spec] CHANGE [COLUMN] col_old_name col_new_nam...

今天在插入数据的时候出现错误:Error during job, obtaining debugging information…Ended Job = job_1575898012755_0005 with errors Error during job, obtaining debugging information... Examining task ID: task_1575898012...

hive打不开,提示节点过少，进入安全模式~~前段时候给电及除尘，因为经常拆着玩，越熟练越容易大意，一下子把电源排线扯坏了。挼了挼，想凑和着用吧，没想到不知怎么的就会关机，太频繁了。一怒之下取出来剪了！！！然后没得玩了。去某宝买了个6P排线，2.5，邮费8块。安上发现没网，把路由拆了。一拆网就好，安上就残，重复50次后，把盖揭扔了，它就老实了。然后打开hive，困倦的我又来了精神，居然打不开...

今天帮一同学导入一个excel数据，我把excel保存为txt格式，然后建表导入，失败！分隔符格式不匹配，无法导入！！！！怎么看两边都是\t，怎么不匹配呢？做为程序员，最不怕的就是失败，因为我们有一颗勇敢的心！再来！又特么失败。。。想了好久，看看了看我的表格式，我犯了一个好低级的错误：hive表的存储格式设置为了orcfile!!!众所周知：orcfile为压缩格式，可以节约大量存储空间，...

sqoop导入hive时间格式问题解决方案从mysql导入数据时,发现时间格式有问题,要么是时间后面多一位零,要么要使用时间戳,还能不能好好玩耍了?!于是,我就逛论坛，找大神，最终无果，也许这个问题过于简单吧，居然没有大牛讨论。想了好几天，也看了sqoop官网，突然灵光一闪，我怎么不去看看mysql官网呢？于是，最终解决方案渐渐揭开了神秘的面纱~~~~~首先，我们复习一下：1. mysql...