Hive
水墨风漾
好人
展开
-
hive Cannot obtain block length for LocatedBlock 报错定位
1.背景:昨天运维同事生产升级了MySQL,跑的定时任务出错。2.查看job发现规律 所有的查询都跑完,但插入不进去数据。3.查看日志mr都100%但插入的都被kill掉了,最后有个映射错误啥的,错误不明显。4,在HUE上测试的确是查可查,但插入不了,页面报错这个。很玄乎没啥好定位的,但确认是有错,且是插入错误。5,截图联系运维人员一起排查。运维人员进入集群后看server2日志看...原创 2019-11-12 21:04:05 · 509 阅读 · 0 评论 -
Hive元数据在MySQL的存储逻辑及关系
在大数据中,很多情况下是将hive的元数据存放在mysql数据库中,通过hive配置的连接字符串: <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive3?cre...转载 2019-01-28 16:29:34 · 655 阅读 · 0 评论 -
元数据得到当前分区表最大分区
背景:公司数据没跑完,但又得出报表,只能取最近的!需要或取当前分区表最大的分区。这里使用的是利用元数据方式进行获得当前分区表最大分区的方式写一个工具shell 脚本#!/bin/bashTABLE_NAME=$1set -ev_date=date -d yesterday +"%Y-%m-%d"if [ -z ${TABLE_NAME} ]thenecho ${v_date}...原创 2019-02-19 10:42:27 · 781 阅读 · 0 评论 -
hive数据新旧平台迁移
背景:年前就已经规划好了,今年要将所有的数据接入一个大的平台,新平台搭建好,将旧平台的数据迁移过去即可。此时轮到本小组将自己的旧平台数据迁移到新平台中。注:旧平台5.12,新平台6.1.1。自己遇到的问题并解决。1.脚本中文传参不行,会出现乱码,这个其实没根本解决。最后是将这些品类 自定义标准码 利用数字或英文来代替,在脚本中做一个if判断,变量接收传进入的。2.由于新平台权限管制很严。有些...原创 2019-04-22 17:54:38 · 789 阅读 · 0 评论 -
hive中几种唯一主键的选择和优劣比较
hive表是没有主键的,但在建表时最好加一个主键,方便查询。联合主键另说,其实也就可一利用联合主键来。1.uuid2.row_number()例子:insert into tbl_dimselect row_number() over (order by tbl_stg.id) + t2.sk_max, tbl_stg.*from tbl_stg join (select coale...原创 2019-07-23 16:40:19 · 21195 阅读 · 2 评论 -
hive去重问题的几种方式
在做维表时,很重要一点是要去重。那么去重有那些方式呢?1.distinct2.group by前面两种关系型的也常用,我就不说了。3.row_numberinsert overwrite table dw_dw.dw_dim_addressselectrow_number() over() as pk_address_code, t2.province_name,t2.city_...原创 2019-07-24 10:38:53 · 3301 阅读 · 0 评论 -
hive利器 宏macro的详解
声明:本帖子不是我自己原创,都是为了学习和了解宏,照搬和参考下面大佬的,做个一个综合的。向几位大佬致敬。建议看原贴,链接在最下面。1.macro初步了解宏可以看做是一个简短的函数,或者是对一个表达式取别名,同时可以将这个表达式中的一些值做成变量调用时传入,比较适合于做分析时为一些临时需要用到很多次的表达式操作封装一下取个简短点的别名来调用。宏只在当前会话有效,当退出hive控制台再进入时上次...转载 2019-07-24 15:31:43 · 2130 阅读 · 0 评论 -
rank,dense_rank,row_number,ntile区别和用法。
背景,忙完了。终于不用再赶了,自己在做项目中遇到的和当时迷惑的某些点,记录了一下,现在来做一个总结。RANK() 排序相同时会重复,总数不会变。DENSE_RANK()排序相同时会重复,总数会减少。 (dense:稠密的意思)1建表create table product_sell (big_class string,small_class string,money double)...原创 2019-07-23 15:36:08 · 595 阅读 · 0 评论