anke5156-CSDN博客

原创 ES的mapping配置详解

mapping配置mapping的基本格式{ "mappings":{ "_doc":{ "_all":{ "enabled":false }, "properties":{ "uuid":{ "type":"text", "copy_to":"_hippo_all"

2020-05-22 09:35:47 2732

hive时间函数1.日期函数UNIX时间戳转日期函数：from_unixtime语法：from_unixtime(bigint unixtime[, stringformat]) 返回值：string说明：转化UNIX时间戳（从1970-01-0100：00：00 UTC到指定时间的秒数）到当前时区的时间格式举例：select from_unixtime(1323308943,‘yyyyMMdd’) from dual; 201112082.获取当前UNIX时间戳函数：unix_tim

2020-05-13 16:04:44 515

原创 hive分桶

hive分桶1.创建分桶表drop table stu_buck;create table stu_buck(Sno int,Sname string,Sex string,Sage int,Sdept string)clustered by(Sno)sorted by(Sno DESC)into 4 bucketsrow format delimitedfields terminated by ',';2.设置变量设置分桶为true, 设置reduce数量是分桶的数量个数set

2020-05-13 15:42:25 251

原创 hive分区表创建及使用

hive分区表创建及使用1.创建分区表**注意：**分区字段不能出现在普通字段里面对于分区表来说，分区字段使用跟普通字段一样drop table s_ssd_taobao_pc2020050700001_result_s;create table s_ssd_taobao_pc2020050700001_result_s( uuid string comment 'uuid', phone string comment '手机号', nam

2020-05-13 15:36:11 555

原创数据仓库雪花模型VS星形模型

数据仓库雪花模型VS星形模型一、概述在多维分析的商业智能解决方案中，根据事实表和维度表的关系，又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候，就应考虑数据是按照星型模型还是雪花型模型进行组织。当所有维表都直接连接到“事实表”上时，整个图解就像星星一样，故将该模型称为星型模型，如图 1 。星型架构是一种非正规化的结构，多维数据集的每一个维度都直接与事实表相连接，不存在渐变维度，所以数据有一定的冗余，如在地域维度表中，存在国家 A省 B 的城市 C 以及国家 A 省 ..

2020-05-12 11:36:29 395

原创到底什么是数据仓库

数据仓库简介1.什么是数据仓库数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。2.数据仓库的特点2.1．数据仓库的数据是面向主题的与传统数据库面向应用进行数据组织的特点相对应，数据仓库中的数据是面向主题进行组织的。什么是...

2020-05-12 11:32:14 1424