HIVE
韩利鹏
大数据处理-java高级工程师
展开
-
hive的自定义函数
自定义函数有三种 一:一个输入对应一个输出,比较常用,UDF 二:多个输入对应一个输出,又称为聚合函数,跟count函数类似,名叫UDAF 三:一个输入对应对个输出,即一个输入对应输出一张表,名叫UDTFUDF: 写udf函数的时候需要继承UDF类,并且写至少一个evaluate方法,执行的时候会根据参数的多少调用对应的函数UDAF: 写UDAF的时候需要继承UDAF类,并且需要实现以下方原创 2016-10-20 11:31:52 · 629 阅读 · 0 评论 -
HIVE基本语法使用
set hive.cli.print.header=true;创建一张表CREATE TABLE page_view(viewTime INT, userid BIGINT, page_url STRING, referrer_url STRING, ip STRING COMMENT 'IP Address of the User') #添加描述 COMMENT '原创 2016-10-20 12:20:29 · 3466 阅读 · 1 评论 -
hive-site.xml的数据库配置文件
配置hive连接数据库的配置文件<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <property> <name>javax.jdo.option.ConnectionUR原创 2016-10-20 15:31:25 · 8040 阅读 · 0 评论 -
hive函数大全
目录一、关系运算: 41. 等值比较: = 42. 不等值比较: <> 43. 小于比较: < 44. 小于等于比较: <= 45. 大于比较: > 56. 大于等于比较: >= 57. 空值判断: IS NULL 58. 非空判断: IS NOT NULL 69. LIKE比较: LIKE 610. JAVA的LIKE操作: RLIKE 61原创 2016-10-20 19:17:22 · 735 阅读 · 0 评论 -
hive问题
hive问题及解决 1.hiveserver2启动后,beeline不能连接的涉及的问题: 原因:权限问题 解决: /user/hive/warehouse /tmp /history (如果配置了jobserver 那么/history也需要调整) 这三个目录,hive在运行时要读取写入目录里的内容,所以把权限放开,设置权限: hadoop fs -chmod -R 777 /tm转载 2017-01-19 19:56:39 · 711 阅读 · 0 评论 -
hive累积报表hql
问题:下面是一个员工的业绩数据,数据格式是username,date,money,数据如下A,2015-01,5A,2015-01,15B,2015-01,5A,2015-01,8B,2015-01,25A,2015-01,5A,2015-02,4A,2015-02,6B,2015-02,10B,2015-02,5加载到hive表中了(t_access_times)。原创 2018-01-28 22:10:24 · 1117 阅读 · 0 评论 -
自己写UDF(Hive)
目标:使用java自己写一个UDF函数1、先开发一个java类,继承UDF,并重载evaluate方法package com.udf;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.Text;public final class Lower extends UDF{ public原创 2018-01-28 22:18:07 · 643 阅读 · 0 评论 -
星形模型和雪花模型
一、概述在多维分析的商业智能解决方案中,根据事实表和维度表的关系,又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候,就应考虑数据是按照星型模型还是雪花型模型进行组织。当所有维表都直接连接到" 事实表"上时,整个图解就像星星一样,故将该模型称为星型模型,如图 1 。星型架构是一种非正规化的结构,多维数据集的每一个维度都直接与事实表相连接,不存在渐变维度,所以数据有一原创 2018-01-29 14:54:58 · 848 阅读 · 0 评论