- 博客(24)
- 收藏
- 关注
RSS订阅原创 hive字符串的分割，截取，替换与正则匹配。
hive字符串的分割，截取，正则提取与替换。一，字符串的分割。split函数（分割字符串）语法: split(string str, string pat)返回值: array说明: 按照pat字符串分割str，会返回分割后的字符串数组举例：1.基本用法hive> select split('abcdef', 'c') from test;["ab", "def"]2...
2019-06-30 11:59:54
72712
2
原创 HIVE 的时间转换函数
HIVE 的时间转换函数。1，在大多数的sql中获取当前时间都是用now()函数即可，hive获取当前时间的函数与sql 不一样hive有一个获得当前时区的UNIX时间戳：unix_timestamp语法: unix_timestamp()返回值: bigint说明: 获得当前时区的UNIX时间戳 我们需要的不是时间戳而是具体的当前时间：from_unixtime ...
2019-06-22 22:19:01
11423
1
转载 AB测试平台的工程实现
AB测试平台的工程实现作者在《推荐系统评估》和《推荐系统的商业价值》这两篇文章中提到了AB测试的重要性，新的推荐算法在上线到现网时需要做AB测试，对比新算法和老算法在关键指标上的差异，只有当新算法明显优于老算法时才会完全取代老算法。其实，AB测试的价值不止体现在推荐系统中，它在整个互联网产品迭代周期中得到了广泛深入的应用。本文试图对AB测试做一个比较全面的介绍，会从什么是AB测试、AB测试的价...
2019-06-22 18:38:42
5397
转载 大数据HIVE--基础
HIVE–基础对于初级分析师来说，最日常的工作之一就是通过写SQL提取数据进行分析。在大数据框架中，提供类SQL语言支持的就是Hive，简称为HiveQL。首先，想要通过HiveQL进行数据提取和处理，前提是至少需要对HiveQL的基本语法、语句结构、数据类型、常用数据处理方法等掌握清楚，也就是至少要知道怎么用。其次，要想用好Hive这个数据分析工具，就要对它有一个全面了解，才能提高工作效...
2019-06-22 18:12:42
724
转载 hive 里的向上取整、向下取整、四舍五入取整的实例.以及精确保留小数位数。
hive 里的向上取整、向下取整、四舍五入取整的实例.以及精确保留小数位数。==================================================== 【四舍五入取整截取】select round(54.56,0)round至少保留一位小数。55.0==================================================== 【向...
2019-06-22 11:08:52
47310
转载 sql里的流程控制语句
sql中的 IF 条件语句的用法.IF 表达式IF( expr1 , expr2 , expr3 )expr1 的值为 TRUE，则返回值为 expr2expr1 的值为FALSE，则返回值为 expr3如下：SELECT IF(TRUE,1+1,1+2);-> 2SELECT IF(FALSE,1+1,1+2);-> 3SELECT IF(STRCMP(“111”...
2019-06-20 21:58:51
1127
转载 hive的不等关系及like的使用详解
Hive中where 语句的“不等于”的陷阱hive 中‘不等于’不管是用！ 或者<>符号实现，都会将空值即null过滤掉，此时要用where （white_level<>‘3’ or white_level is null）或者 where (white_level!=‘3’ or white_level is null ) 来保留null 的情况。等值比...
2019-06-20 16:59:45
3366
转载 ROW_NUMBER()函数的使用
hive中ROW_NUMBER()函数的使用ROW_NUMBER()返回结果集分区内行的序列号，每个分区的第一行从1开始。先创建学生成绩表和班级信息表并插入测试数据，用于以下实例的使用。/-创建学生成绩表-/CREATE TABLE StuScore(StuID INT, --学生编号StuName VARCHAR(20), --学生姓名ClassID IN...
2019-06-19 22:00:57
611
原创 NVL函数与NULLIF函数
1.NVL函数NVL函数的格式如下：NVL(expr1,expr2)含义是：如果oracle第一个参数为空那么显示第二个参数的值，如果第一个参数的值不为空，则显示第一个参数本来的值。2，NVL2函数NVL2函数的格式如下：NVL2(expr1,expr2, expr3)含义是：如果该函数的第一个参数为空那么显示第二个参数的值，如果第一个参数的值不为空，则显示第三个参数的值。如：SQL&...
2019-06-19 21:48:37
1087
转载 数据库比较一行值的大小
数据库比较一列的最大值或者最小值，我们会不假思索地用MAX和MIN函数，但是对于比较一行的最大值或最小值呢？是不是日常用的少，很多人都不知道有ORACLE也有内置函数实现这个功能：COALESCE / GREATEST / LEAST.COALESCE 返回该表达式列表的第一个非空value。格式： COALESCE(value1, value2, value3, …)含义： 返回val...
2019-06-19 21:15:16
2397
原创 hive的sql学习笔记一
1，创建表：mysql里是with ashive创建表有三种方式：（详情可见csdn的收藏）hive里是create table default.temp as (select * from)create table if not exists table as 也可以不加括号。 hive创建临时表： 表只对当前session有效，session退...
2019-06-17 09:04:31
268
原创 lateral view的使用
【hive】lateral view的使用当使用UDTF函数的时候,hive只允许对拆分字段进行访问的例如:select id,explode(arry1) from table; —错误会报错FAILED: SemanticException 1:40 Only a single expression in the SELECT clause is supported with UDTF...
2019-06-15 22:03:25
1827
转载 hivesql里面数据类型cast函数的使用
一、语法：CAST (expression AS data_type)参数说明：expression：任何有效的SQServer表达式。AS：用于分隔两个参数，在AS之前的是要处理的数据，在AS之后是要转换的数据类型。data_type：目标系统所提供的数据类型，包括bigint和sql_variant，不能使用用户定义的数据类型。使用CAST函数进行数据类型转换时，在下列情况下能够被...
2019-06-15 20:53:08
12280
原创 hivesql中的concat函数,concat_ws函数，concat_group函数之间的区别
一、CONCAT（）函数CONCAT（）函数用于将多个字符串连接成一个字符串。使用数据表Info作为示例，其中SELECT id,name FROM info LIMIT 1;的返回结果为±—±-------+| id | name |±—±-------+| 1 | BioCyc |±—±-------+1、语法及使用特点：CONCAT(str1,str2,…)返回结果...
2019-06-15 20:50:48
2718
转载 hive日期函数
今天select from_unixtime(unix_timestamp(),‘yyyy-MM-dd HH:mm:ss’)UNIX时间戳转日期函数: from_unixtime语法: from_unixtime(bigint unixtime[, string format])返回值: string说明: 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的...
2019-06-15 17:01:36
90
转载 Linux中find常见用法
Linux中find常见用法示例·find path -option [ -print ] [ -exec -ok command ] {} ;find命令的参数；pathname: find命令所查找的目录路径。例如用.来表示当前目录，用/来表示系统根目录。-print： find命令将匹配的文件输出到标准输出。-exec： find命令对匹配的文件执行...
2019-06-15 17:00:40
250
转载 大数据HIVE---进阶
本位主要讲解大数据分析师在工作中需要用到的HIVE进阶知识，主要包括：窗口函数数据倾斜性能调优explain替换引擎那，就直接开讲了。窗口函数要讲HIVE进阶，窗口函数不得不提，作者之前的文章《Hive窗口函数进阶指南》已经很详细地讲解了这部分内容，为了省去大家点链接跳来跳去的麻烦，下面将其核心内容摘录出来，如下所示。窗口函数也称为OLAP（OnlineAnalytical Pr...
2019-06-13 22:42:51
1664
原创 数据分析指标
如何在业务中锻炼数据分析思维 一个优秀的数据分析师，应该常抱持一颗好奇心，要去探究，多问自己为什么。为什么对于数据分析师来说业务最重要：因为你所有的数据分析结果都是为业务的发展做支撑，如果，不明白业务的流程，那么就不知道要分析那些数据，该得出怎样的结果。 唯有理解业务，才能建立业务数据模型（数据分析体系）经典业务分析指标： 模型未动，指标...
2019-06-11 22:02:53
248
原创 数据分析的七种技巧
数据分析的思维技巧：三种核心思想是框架型的指引，实际应用中也应该借助思维的技巧工具达到四两拨千斤的效果，并且，他们应该足够简单和有效。数据分析的七种技巧： 1，象限法： 象限法是一种策略驱动的思维 优点： 直观，清晰，对数据进行人工的划分。划分结果可以直接应用于策略。 ...
2019-06-11 11:32:15
923
转载 大数据分析工程师入门
上篇《大数据分析工程师入门3–SQL基础》以近1万字的篇幅给大家将SQL的基础内容系统性的讲解了一遍。本文将在其基础之上稍作补充，主要讲讲数据分析工作中可能会用到的SQL进阶知识点。主要讲解思路如下：第1部分：DDL。主要讲解MySQL中针对库、表、表字段的创建、修改和删除等相关操作。第2部分：索引。内容包括为何要建立索引，如何建立不同的索引，索引的查看和删除，以及索引的注意事项和建立原则...
2019-06-01 20:52:40
193
原创 主键与索引
MySQL索引的建立对于MySQL的高效运行是很重要的，索引可以大大提高MySQL的检索速度。主要分为两种类型，单列索引和组合索引。说明：UNIQUE:可选。表示索引为唯一性索引。FULLTEXT:可选。表示索引为全文索引。SPATIAL:可选。表示索引为空间索引。INDEX和KEY:用于指定字段为索引，两者作用是一样的主键本身也是一种索引。建表时创建单列索引和组合索引示例：CRE...
2019-06-01 20:49:03
2299
转载 Mysql主键索引、唯一索引、普通索引、全文索引、组合索引的区别
@仅供自己学习，特此记录Mysql索引概念：说说Mysql索引，看到一个很少比如：索引就好比一本书的目录，它会让你更快的找到内容，显然目录（索引）并不是越多越好，假如这本书1000页，有500也是目录，它当然效率低，目录是要占纸张的,而索引是要占磁盘空间的。Mysql索引主要有两种结构：B+树和hash.hash:hsah索引在mysql比较少用,他以把数据的索引以hash形式组织起来,因...
2019-06-01 20:02:44
192
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人