- 博客(20)
- 收藏
- 关注
RSS订阅原创 impala两种方式同步hive元数据
INVALIDATE METADATA操作带来的副作用是生成一个新的未完成的元数据对象，对于操作请求的impalad（称它为impalad-A），能够立马获取到该对象，对于其它的impalad必须通过statestored同步，执行完该操作，因此处理该操作的impalad对于该表的缓存是一个新的但是不完整的对象，其余的impalad保存的是旧的元数据。因此，Impala可以访问由Hive定义或加载的表，也就是说impala的操作对于hive来说是透明的，hive对于impala的操作也是透明的。
2022-12-13 10:44:01
1244
原创 hive中三个排序函数rank、row_number、dense_rank区别
hive中三个排序函数rank、row_number、dense_rank区别
2022-10-27 10:18:52
2320
原创 Hive&&impala相关命令
Impala执行语句：impala-shell -i ip:port -f sqlBeeline执行语句：beeline -u “jdbc:hive2://ip:port/;principal=hive/ip@域名” -e sql
2022-07-06 09:36:27
286
原创 上传本地数据文件创建Hive表
create external table test(a string,b…)row formate serde‘org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe’with serdeproperties(“field.elim”=’|’,“serialization.encoding”=‘GBK’)Location ‘hdfs://nameservice1/warehouse…’stored as textfiletblpropertie
2021-09-10 09:45:11
201
原创 Hive为分区表修改字段类型
背景：CDP7.1.6 Hive3执行sql:alter table A change column id string int cascade;hive已提交，没有语法错误，但执行不了。操作：create table A_tmp like A;--（默认false）,表示开启动态分区功能set hive.exec.dynamic.partition =true; --(默认strict),表示允许所有分区都是动态的,strict/nonstrict，strict 要求.
2021-08-31 21:22:04
2123
原创 Shell中 #*/ 和 %/*
背景：写shell脚本时候需要截取一些带有连接符的字符串。#!/bin/sh#大写转小写typeset -l table_name_lowtable_name_low=QA/ZW_SX/ed_cr/fv_123 echo ${table_name_low#*/} echo ${table_name_low%/*}结果分别为：zw_sx/ed_cr/fv_123qa/zw_sx/ed_cr总结：#*/表示从左往右取第一个“/”分隔符之右边的所有内容；%/..
2021-08-26 21:36:35
3408
原创 shell中EOF的相关用法
1、EOFShell中通常将EOF与<<结合使用，表示后续的输入作为子shell的命令或子Shell的输入，直到遇到EOF为止，再返回到主调Shell。可以把EOF替换成其他东西，意思是把内容当作标准输入传给程序。当shell看到<<的时候，它就会知道下一个词是一个分界符。在该分界符以后的内容都被当作stdin，直到shell又看到该分界符(位于单独的一行)。这个分界符所包含的区域内可以定义的任何命令。Examp...
2021-08-22 19:19:56
873
原创 shell中的时间转换
背景：写shell脚本时候需要将20210818转换成2021-08-18以便传入sql进行过滤查询。#! /bin/bashbatch_date=$1create_time=`date -d "${batch_date}" "+%Y-%m-%d"`echo "create_time: ${create_time}"
2021-08-18 20:57:18
505
原创 Impala的命令COMPUTE STATS
COMPUTE STATS主要作用：收集有关表中数据的容量和分布以及所有相关列和分区的信息。这些信息存储在metastore数据库中，Impala使用这些信息来帮助优化查询。例如，如果Impala可以确定一个表是大是小，或者有很多或很少不同的值，它就可以为一个连接查询或插入操作适当地组织并行化工作。语法：COMPUTE STATS [db_name.]table_nameCOMPUTE INCREMENTAL STATS [db_name.]table_name[PARTITION (p.
2021-08-05 22:53:56
541
原创 shell脚本调度impala传参总结
背景：由于公司使用oozie调度工作流但是其不支持impala只能转shell间接调度首先说下impala的交互方式：使用客户端直接进入impala然后进行sql操作，配好环境后impala-shll即可使用hueimpala-shell -q ‘select。。。’ -i localhost(地址)若sql比较多可以写成文件后缀名无所谓impala-shell -f filename -i localhost即可用shell脚本来执行impala：在shell脚本中直接写impala-s
2021-08-05 22:44:45
915
原创 Hive3新建托管表，count（*）一直为0排查
问题点:在新环境用hive3新建一张托管表，后台通过hdfs dfs -put方式将数据加载到新表的location。发现select count(*)一直为0。原因分析:Hive3提供了查询缓存方案。内部表会做相关信息统计。建表之后，put数据之前，表统计信息记录表rows为0。导致hive查询缓存显示为0。解决方案1执行命令Analyze table tablename compute statistics.方案2在hue中点击刷新。...
2021-07-14 15:31:02
331
原创 CDP-RANGER报错处理
CDP-ranger报错: 文件描述符太多:（测试该角色是否拥有过多已经打开的文件描述符，使用百分比74.3%，临界阈值:70%）将ranger主节点上的/etc/security/limits.conf中的soft nofile调高致65536。在服务器上ulimit -n 命令也调成65536，现将ranger服务的配置项“最大进程文件描述符”由空改成65536，报错可消失。...
2021-07-14 11:08:07
336
原创 在HUE使用hive引擎建表，带上中文commment建表失败
标题在HUE使用hive引擎建表，带上中文commment建表失败## 标题CDP环境下，更换hue server节点后，建表带有中文注释。问题描述:在hue使用hive引擎建表，带上中文comment建表失败，提示报错:ascii codec cannot decode byte 0xe4 in position 187 :ordinal not in range(128)解决方案:在所有的hue server 节点修改python默认编码，再重启hueVi /opt/cloudera/pa
2021-07-14 10:59:27
603
原创 Atlas生成元数据实体的各个引擎相关操作
Atlas生成元数据实体的各个引擎相关操作Hive中可以生成Atlas元数据实体的操作： Hive操作 Atlas可以生成的元数据实体 alter database, create database, drop database hive_db, hive_db_ddl alter table, create table, create table as se..
2021-03-22 22:52:33
438
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人