hive
文章平均质量分 83
wjl7813
这个作者很懒,什么都没留下…
展开
-
hive 1.x 版本 编译 安装配置及遇到的一些问题
原创 2018-02-07 23:55:51 · 742 阅读 · 0 评论 -
hive实现网站用户行为分析指标
字段解释accessDate //访问时间,精确到日期,String格式accessTime //访问时间,精确到毫秒,int格式accessHour //访问小时,区间为0-23,int格式 requestMethod //请求方式(get post 统计的时候没用到),String格式requestProtocal //请求协议(http https,统计...原创 2018-04-14 21:40:30 · 2461 阅读 · 0 评论 -
hive 分区表
假设我们有数据宾馆的近10年的数据,格式如下每列的意义| hotel | | | | h_id | id || | h_region | 旅馆行政区划 || | h_hname | 旅馆名称 || | h_address | 旅馆地址 || | h_uname | ...原创 2018-04-14 19:16:31 · 317 阅读 · 0 评论 -
hive 外部表 创建示例
hdfs dfs -mkdir -p /external/sr/sr_createdhdfs dfs -mkdir -p /external/sr/sr_assignhdfs dfs -mkdir -p /external/sr/sr_cancelledhdfs dfs -mkdir -p /external/sr/sr_handlehdfs dfs -mkdir -p /externa...原创 2018-02-08 00:47:58 · 5935 阅读 · 0 评论 -
hive 数据加载的几种方式 和数据导出方式
===== hive 数据加载方式LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]load data [local] inpath 'filepath' [overwrite] into table tablenam...原创 2018-02-08 00:44:54 · 1143 阅读 · 0 评论 -
hive 数据压缩与存储格式选择
概述为什么会出现需要对文件进行压缩? 在Hadoop中,文件需要存储、传输、读取磁盘、写入磁盘等等操作,而文件的大小,直接决定了这些这些操作的速度。常见压缩方式、压缩比、压缩解压缩时间、是否可切分原文件:1403MSnappy 压缩:701M,压缩时间:6.4s,解压时间:19.8s,不可切分LZ4 压缩:693M,压缩时间:6.4s,解压时间:2.36s,不可切分LZO 压缩:684M,压缩时间...原创 2018-02-09 02:06:09 · 4081 阅读 · 0 评论 -
Hive 元数据 相关信息
Hive元数据信息默认使用derby存储,最好调整为mysql,postgre等rdbms。Hive元数据存常用的一些表:select * from DBS;select * from COLUMNS_V2;select * from PARTITIONS;select * from PARTITION_KEYS;select * from TABLE_PARAMS;select * from T...原创 2018-05-01 17:19:08 · 211 阅读 · 0 评论