hive
Mars_sock
这个作者很懒,什么都没留下…
展开
-
odps sql创建日期维表
在odps中使用sql创建日期维表表结构create table if not exists dim_date ( date_id string comment '日期(yyyymmdd)' ,datestr string comment '日期(yyyy-mm-dd)',date_name string comment '日期名称中文',weekid原创 2021-11-22 17:34:48 · 2047 阅读 · 0 评论 -
java反编译jar包
java反编译jar包在日常开发中,由于之前的系统中UDF函数源码并没有接手,要想把现有UDF函数一直到其他平台上使用,因此需要对现有jar包进行反编译,并在其他平台上调试使用。反编译方式分两种:GUI工具(JD-GUI)idea插件:java-decompiler.jarGUI工具- 使用反编译GUI工具,这种工具可以直接打开jar包,并将反编译之后的结果导出反编译的结果文件入下(附带一下其他东西,还得手工处理一下):/* */ package com.alibab原创 2020-06-01 15:36:08 · 1789 阅读 · 0 评论 -
hive基本语法
1.Hive中数据库的基本操作1.1 Create/Drop1.2 create table2. hive数据加载或导出2.1 hive表加载数据2.2 hive表导出数据3. Hive中的查询语句4. Order, Sort, Cluster, and Distribute By区别1.Hive中数据库的基本操作1.1 Create/DropCREA...原创 2018-06-14 15:19:58 · 529 阅读 · 0 评论 -
Hive的数据压缩
Hive的数据压缩apahce官方提供的hadoop安装包不支持数据的压缩,所以需要编译hadoop源码hadoop源码编译方法:1.安装sanppy压缩库2.编译hadoop 2.x源码3.mvn package -Pdist,native -DskipTests -Dtar -Drequire.snappy4.编译完成后,将hadoop-2.x/target/hadoop-2...原创 2018-06-14 15:24:20 · 272 阅读 · 0 评论 -
hive性能优化
1. 概述2. 影响性能的根源3. 配置角度优化3.1 列裁剪3.2 分区裁剪3.3 join操作3.3.1 join原则3.4 map join操作3.5 group by操作3.6 合并小文件4. 程序角度优化4.1 熟练使用SQL提高查询4.2 无效ID在关联时的数据倾斜问题4.3 不同数据类型关联产生的倾斜问题4.4 利用Hive对union all...转载 2018-06-14 16:08:22 · 412 阅读 · 0 评论 -
hive常见问题(持续更新。。。)
1.在进行insert select操作的时候报如下错误 Caused by: org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions. The maximum ...原创 2018-06-14 16:23:06 · 2527 阅读 · 0 评论 -
hive表中array类型数据处理(行列转换)
hive表中array类型数据处理hive表中数据如下:1 ["20170101","20170102","20170201","20170203"]2 ["20170102","20170102","20170201"]3 ["20170104"]2 ["20170201"原创 2018-11-23 17:17:55 · 9220 阅读 · 0 评论