hive
qzWsong
这个作者很懒,什么都没留下…
展开
-
连续登陆模型,bitmap实现
bitmap 在连续模型中的应用原创 2022-02-24 22:50:38 · 317 阅读 · 0 评论 -
cube数据立方体模型
hive数据立方体 cube原创 2022-02-23 17:43:20 · 1650 阅读 · 0 评论 -
常用的窗口函数
lag() lead() first_value() ,last_value() ,sum_over() ,row_number()原创 2022-02-17 23:07:20 · 368 阅读 · 0 评论 -
session分割
session标准步骤原创 2022-02-17 22:51:10 · 1236 阅读 · 0 评论 -
数仓漏斗模型,正则匹配REGEXP_EXTRACT,SORT_ARRAY
数仓漏斗模型,正则匹配,sort_array原创 2021-10-18 12:46:40 · 286 阅读 · 0 评论 -
Attempting to reconnect (1 of 1) after 1s. setPartitionColumnStatisticsde
Hive 3.1.2版本会有这个bug,3.2.0好像就已经修复了MetaStoreClient lost connection. Attempting to reconnect (1 of 1) after 1s. setPartitionColumnStatisticsdeset hive.stats.autogather=false;然后再建表原创 2021-10-13 22:59:55 · 829 阅读 · 2 评论 -
sprak hive2hbase_bulkloader
package com.ws.bulkloaderimport org.apache.hadoop.fs.Pathimport org.apache.hadoop.hbase.client.ConnectionFactoryimport org.apache.hadoop.hbase.{HBaseConfiguration, KeyValue, TableName}import org.apache.hadoop.hbase.io.ImmutableBytesWritableimport or.原创 2021-04-25 21:25:44 · 172 阅读 · 0 评论 -
hive数据类型
数字类型TINYINT(1字节整数)SMALLINT(2字节整数)INT/INTEGER (4字节整数)BIGINT(8字节整数)FLOAT(4字节浮点数)DOUBLE(8字节双精度浮点数)示例:create table t_test(a string ,b int,c bigint,d float,e double,f tinyint,g smallint)时间类型TIMESTAMP(时间戳) (包含年月日时分秒毫秒的一种封装)DATE...原创 2020-12-27 22:31:03 · 380 阅读 · 0 评论 -
hive修改表定义
修改表定义仅修改Hive元数据,不会触动表中的数据,用户需要确定实际的数据布局符合元数据的定义。修改表名:ALTER TABLE table_name RENAME TO new_table_name示例:alter table t_1 rename to t_x;修改分区名:alter table t_partition partition(department='xiangsheng',sex='male',howold=20) rename to partition..原创 2020-12-27 21:59:15 · 192 阅读 · 0 评论 -
hive数据操作,导入导出
数据导入导出将数据文件导入hive的表方式1:导入数据的一种方式:手动用hdfs命令,将文件放入表目录;方式2:在hive的交互式shell中用hive命令来导入本地数据到表目录hive>load data local inpath '/root/order.data.2' into table t_order;方式3:用hive命令导入hdfs中的数据文件到表目录hive>load data inpath '/access.log.2017-08-06...原创 2020-12-27 21:56:08 · 600 阅读 · 0 评论 -
hive,操作库- 不同类型的表
建库hive中有一个默认的库:库名: default库目录:hdfs://hdp20-01:9000/user/hive/warehouse新建库:create database db_order;库建好后,在hdfs中会生成一个库目录:hdfs://hdp20-01:9000/user/hive/warehouse/db_order.db建表use db_order;create table t_order(id string,create_time str..原创 2020-12-27 21:49:23 · 118 阅读 · 0 评论 -
hive 使用方式
启动一个hive交互shellbin/hivehive>设置一些基本参数,让hive使用起来更便捷,比如:让提示符显示当前库:hive>set hive.cli.print.current.db=true;显示查询结果时显示字段名称:hive>set hive.cli.print.header=true;但是这样设置只对当前会话有效,重启hive会话后就失效,解决办法:在linux的当前用户目录中,编辑一个.hiverc文件,将参数写入其中:v.原创 2020-12-27 21:40:09 · 118 阅读 · 0 评论 -
centos6.7--mysql 5.6.26卸载与安装
1、停掉服务 service mysqld stop2、删除rpm包 rpm -qa | grep -i mysql| xargs rpm -e --nodeps3、删除遗留文件 find / -name mysql | xargs rm -rf4、find / -name my.cnf | xargs rm -rf装新的服务端:rpm -ivh ***rmp客户端:rpm -ivh ***rmpservice mysql startcat /root/.mysql...原创 2020-12-25 09:25:08 · 108 阅读 · 1 评论