![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
文章平均质量分 59
鞋带散了的木木
不懒的人,运气都不会太差
展开
-
Hive 数据倾斜总结()
数据倾斜概念、原因、场景、解决方法概念:数据倾斜(Data skew)是指 https://my.oschina.net/leejun2005/blog/100922http://mp.weixin.qq.com/s?__biz=MjM5NjQ5MTI5OA==&mid=2651745207&idx=1&sn=3d70d59cede236eb1cb4f7374387a235&scene=0#wec原创 2017-05-03 14:25:25 · 328 阅读 · 0 评论 -
Hive SQL的编译过程
原文地址:Hive SQL的编译过程Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中,我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力,在解决这些问题的同时我们对Hi转载 2017-05-03 14:31:33 · 527 阅读 · 0 评论 -
Hive编程入门指南
一、基本概念1. 定义Hive是基于Apache Hadoop的数据仓库基础架构,用于读取,写入和管理存储在分布式系统中的大型数据集,并使用SQL语法进行查询。Hive建立在Hadoop之上,具有以下功能:通过SQL轻松访问数据的工具,从而实现数据仓库任务,如提取/转换/加载(ETL),报告和数据分析。A mechanism to impose structure on a variety of原创 2017-05-23 23:00:36 · 3037 阅读 · 0 评论 -
Hive开发经验总结
了解Hive的基本概念 对Hive基本概念的了解,有助于对移动开发平台的理解与掌握,便于项目开展。尤其是其与普通关系型数据库的区别。 数据倾斜(Data skew) 概念:简单理解就是数据分布不均匀。有这么一种说法:正常的数据分布理论上都是倾斜的,就是我们所说的20-80原理:80%的财富集中在20%的人手中, 80%的用户只使用20%的功能 , 20%的用户贡献了80%的访问量。 产生场景:原创 2017-06-06 20:22:50 · 647 阅读 · 0 评论 -
Hive中NULL值(空值)处理
hive nullnull默认的存储都是\N,可以在建表时通过serialization.null.format的设置null不能进行算术运算,所有有null参与的运算结果都为nullhive> select null+2;OKNULL同样null=0,null!=0这类结果都为null,做判断条件时等效为falsehive> select > case when null=0原创 2016-07-31 22:03:45 · 21231 阅读 · 0 评论 -
魅族大数据之用户洞察平台介绍
一、总体介绍1.1. 用户洞察平台的定位魅族 UIP(用户洞察平台),通过对三方受众数据的汇聚、清洗、智能运算,构建了庞大的精准人群数据中心,提供丰富的用户画像数据以及实时的场景识别力。对内:无缝对接各类业务平台的数据应用,如广告平台、PUSH推送、个性化推荐之间建立了数据通道,支持公司级的精准营销,消息及时送达服务等场景。营销效果评估,反馈数据可进一步加工,用于提转载 2017-06-12 10:06:36 · 2890 阅读 · 0 评论 -
Hive元数据库介绍及信息查看
一、概念Hive中有两类数据:表数据和元数据。和关系型数据库一样,元数据可以看做是描述数据的数据,包括1.hive表的数据库名、表名、字段名称与类型、分区字段与类型 2.表及分区的属性、存放位置等 元数据存储路径和內表一样,分为本地和远程,可通过hive-site.xml文件设置 二、元数据库信息元数据库中存在以下这些表: 元数据ER图 元数据表结构详解看参见lxw的文章三、如何查看元数据库原创 2017-06-14 23:00:05 · 16114 阅读 · 0 评论 -
Hive提示警告SSL
一、问题Hive能正常执行任务,但出现“WARN: Establishing SSL connection without server’s identity verification is not recommended.”告警,翻译过来就是“不建议不使用服务器身份验证建立SSL连接。”Thu Jun 15 12:56:05 CST 2017 WARN: Establishing SSL conn原创 2017-06-15 16:00:26 · 11385 阅读 · 9 评论 -
Hive join优化(mapjoin,streamtable)
一、 Join语法Hive支持的join语法:join_table: table_reference [INNER] JOIN table_factor [join_condition] | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition | table_reference L原创 2017-10-12 22:14:48 · 3712 阅读 · 0 评论