hive
燃烧的岁月_
coding
展开
-
hive 字段类型
列类型Hive支持的数据类型如下:原生类型:TINYINTSMALLINTINTBIGINTBOOLEANFLOATDOUBLESTRINGBINARY (Hive 0.8.0以上才可用)TIMESTAMP (Hive 0.8.0以上才可用)复合类型:arrays: ARRAYmaps: MAPstructs: STRUCTunion: UNIONTYPE原创 2016-05-29 18:43:19 · 17470 阅读 · 0 评论 -
Flume架构图
原创 2016-07-06 22:05:09 · 723 阅读 · 0 评论 -
日志收集流程图
原创 2016-07-07 00:33:18 · 1725 阅读 · 0 评论 -
日志架构图
原创 2016-07-07 00:36:50 · 817 阅读 · 0 评论 -
hive数据仓库图
原创 2016-07-07 01:04:02 · 447 阅读 · 0 评论 -
hive 优化方法
hive查询操作优化-----------join优化------------------- set hive.optimize.skewjoin=true;如果是join过程出现倾斜 应该设置为true set hive.skewjoin.key=1000000;--这个是join的键对应的记录条数超过这个值则会进行优化-----------mapjoin------------原创 2016-12-05 08:28:52 · 579 阅读 · 0 评论 -
Hive源码解析与开发实战笔记--讲师贾杰
Hive实战目录Hadoop生态系统日志分析系统Hive介绍Hive环境搭建Hive基本使用日志分析系统-流程数据收集=》数据清洗=》数据存储与管理=》数据分析=》数据显示Hadoop 日志分析系统Hive介绍什么是Hive?hive是基于Hadoop的一个数据仓库工具可以将结构化的数据文件映射为一张数据库表,并提供类sq原创 2016-07-04 15:51:35 · 4469 阅读 · 0 评论 -
hive表信息查询:查看表结构、表操作等
问题导读:1.如何查看hive表结构?2.如何查看表结构信息?3.如何查看分区信息?4.哪个命令可以模糊搜索表1.hive模糊搜索表 show tables like '*name*';2.查看表结构信息 desc formatted table_name; desc table_name;3.查看分区信息 show part转载 2017-03-01 17:03:13 · 1285 阅读 · 0 评论 -
hive 自定义函数
数据格式zhangsan | a,b,c,d,e,f,glisi | h,i,j,k,l,m,n结构:zhangsan azhangsan bzhagnsan czhangsan dzhangsan ezhangsan fzhangsan glist hlist ilist jlisi klisi llist mlis转载 2017-08-20 11:02:26 · 474 阅读 · 0 评论 -
Hive调优(语法与参数层面优化)
一、简介 作为企业Hadoop应用的核心产品,Hive承载着FaceBook、淘宝等大佬 95%以上的离线统计,很多企业里的离线统计甚至全由Hive完成,如我所在的电商。Hive在企业云计算平台发挥的作用和影响愈来愈大,如何优化提速已经显得至关重要。好的架构胜过任何优化,好的Hql同样会效率大增,修改Hive参数,有时也能起到很好的效果。有了瓶颈才需要优化 1、Hadoop的主要性能瓶颈是IO负载...转载 2018-02-18 18:07:07 · 643 阅读 · 0 评论 -
日志分析系统框架
原创 2016-07-06 21:04:01 · 452 阅读 · 0 评论 -
函数分类
原创 2016-07-05 03:02:48 · 332 阅读 · 0 评论 -
Union all执行流程图
原创 2016-07-05 02:44:32 · 3030 阅读 · 0 评论 -
Hive架构
原创 2016-07-02 15:06:31 · 252 阅读 · 0 评论 -
Hive基本类型使用-类型转换
原创 2016-07-03 00:35:01 · 1863 阅读 · 0 评论 -
RcFile
原创 2016-07-03 00:44:09 · 309 阅读 · 0 评论 -
分区与分桶的比较
原创 2016-07-03 19:11:45 · 4383 阅读 · 0 评论 -
Order by 执行图
原创 2016-07-04 14:57:09 · 320 阅读 · 0 评论 -
group by 执行流程图
原创 2016-07-04 15:49:04 · 1488 阅读 · 0 评论 -
Join执行流程图
原创 2016-07-04 19:35:23 · 907 阅读 · 0 评论 -
Mapjoin执行流程
原创 2016-07-04 20:10:47 · 934 阅读 · 1 评论 -
Distribute by和Sort by执行流程图
原创 2016-07-05 01:36:07 · 1711 阅读 · 0 评论 -
hive股票数据脚本
#! /bin/bash#===============#p_dm_stock_d.sh#===============DT=`date -d '-1 day' "+%Y-%m-%d"`DT_1=`date -d '-2 day' "+%Y-%m-%d"`if[$1];then DT=$1fiSQL="insert overwrite table dm_stock_dselect t.dat...原创 2018-03-19 02:32:23 · 508 阅读 · 0 评论