Hive
RayfunC
一个懂艺术, 会写文的攻城狮
展开
-
Hive求topN
select t2.* from( select pid,uid,cnt,row_number() over (partition by pid order by cnt desc ) as rank from ( select pid,uid,count(uid) as cnt from visit2 group by pid,uid order by pid,cnt desc ) as t1 ) as t2where t2.r.原创 2020-12-31 11:48:01 · 1062 阅读 · 0 评论 -
Hive 删除行, 表 ,清空表
删除行A表数据如下id(String) name(String)----------------------------1 aaa2 bbb3 ccc-----------------------------要求删除2 ...原创 2019-06-28 09:55:31 · 21933 阅读 · 0 评论 -
正则表达式的贪婪和非贪婪匹配
贪婪匹配:正则表达式一般趋向于最大长度匹配。非贪婪匹配:匹配到结果就好。默认是贪婪模式。在量词后面直接加一个问号?就是非贪婪模式。量词:{m.n}:m到n个 *:任意多个(表示匹配0-无穷)+:一个到多个(表示匹配1-无穷) ?:0或一个.表示除\n之外的任意字符(?=Expression)顺序环视,(?=\\()就是匹配正括号eg:...转载 2019-06-14 13:03:40 · 5863 阅读 · 3 评论 -
Hive 分析函数与混合函数
函数分类HIVE CLI 命令显示当前会话有多少函数可用 SHOW FUNCTIONS;显示函数的描述信息 DESC FUNCTION concat;显示函数的扩展描述信息 DESC FUNCTION EXTENDED concat;简单函数函...转载 2019-06-07 12:01:45 · 303 阅读 · 0 评论 -
cume_dist () 和 percent_rank () 使用
SQL> create table cume ( 2 id integer, 3 value number(8,2), 4 name varchar2(30));Table created.SQL>SQL> select * from cume; ID VALUE NAME---------- ---------- -...原创 2019-06-07 11:58:03 · 5480 阅读 · 0 评论 -
Hive 贪婪匹配和非贪婪匹配 .* 和 .*?
贪婪匹配和非贪婪匹配的区别 .* 和 .*?举例如下: 从字符串"888|666|544"中提取最后一个竖线|后面的内容,但是在这个字符串中,竖线的个数不是固定的 。 使用hive中的regexp_extract函数实现如下:hive> select regexp_extract('888|666|544...原创 2019-06-06 17:25:13 · 1675 阅读 · 1 评论 -
Hive 更新增量表
insertoverwritetableerp.tsor_BKPF--要更新此表SELECTtd.*FROM(select ta.*fromerp.tsor_BKPF ta--先要把原来中未更新的数据捞出来leftjoin(selecttc.MANDT,tc.BUKRS,t...原创 2019-05-27 09:41:13 · 1671 阅读 · 0 评论 -
将 Hive 空值统一为 \N
Hive在使用过程中不可避免需要对NULL、’’(空字符串)进行判断和识别。Hive默认情况下底层存储空值跟其他传统数据库有所不同。1、hive默认存储空值的规则 (1) 不同数据类型对空值的存储规则 Int与String类型,NULL底层默认存储为\N,查询...原创 2019-05-27 09:24:02 · 5038 阅读 · 0 评论 -
Hive 全部函数示例
目录关系运算1、等值比较: =2、不等值比较: <>3、小于比较: <4、小于等于比较: <=5、大于比较: >6、大于等于比较: >=7、空值判断: IS NULL8、非空判断: IS NOT NULL9、LIKE比较: LIKE10、JAVA的LIKE操作: RLIKE11、REGEXP操作: REGEXP...原创 2019-05-17 08:29:34 · 397 阅读 · 0 评论 -
Hive Select 选择语句排除一列或多列
有时候我们需要几乎所有的列,但是不包括分区列或其中的某些列,比如分区列要放最后,我们要在之前插入新列并插入新的数据,这时候排除一列或者多列的 select 语句就十分有用了排除num列set hive.support.quoted.identifiers=none;select`(num)?+.+`from (select row_number() over (p...原创 2019-05-22 08:43:16 · 9518 阅读 · 2 评论 -
Hive select 语句大量技巧
hive 查询操作: 1、列匹配正则表达式 select 查询列使用正则表达式匹配列,hive 0.13 版本之前直接用。0.13 及后续版本需要开设置 hive 的属性set hive.support.quoted.identifiers=none;...转载 2019-05-19 16:23:07 · 2804 阅读 · 0 评论 -
Hive 光速入门
Hive是什么Hive是Hadoop生态系统中一个重要的框架.Hive是建立在HDFS储存系统之上的数据查询, 统计, 分析框架, 对应的大数据生态中的分析模块, 而非储存模块.Hive是一个数据仓库工具, 通过类SQL =&amp;amp;amp;amp;gt; HQL 查询语句, 管理已经存在HDFS上的大型数据集.Hive可以根据已经储存的数据, 建立表结构, 指定映射关系, 用户可以使用一个命令行工具和JDBC...原创 2019-01-16 19:08:03 · 286 阅读 · 0 评论 -
Hive 中的 order by、sort by、distribute by 和 cluster by
order by全局排序,默认升序, Hive在运行MR程序时会指定Reducer个数为1默认Reducer个数为-1, 根据运行时HQL语句解析结果指定示例:1)查询员工信息按工资升序排列hive (default)&amp;gt; select * from emp order by salaray;2)查询员工信息按工资降序排列hive (default)&amp;gt; select * ...原创 2019-01-17 13:29:38 · 593 阅读 · 0 评论 -
Hive 中 formatted 的使用
select * from 表名: 查询该表名的所有字段记录desc formatted 表名: 查看该表的结构,而并查看不了表中的数据示例:创建一个表create table if not exists student(id int, name string)row format delimited fields terminated by '\t'stored as tex...原创 2019-01-16 19:32:48 · 18115 阅读 · 0 评论 -
Hive 调优详解
1.fetch属性在旧版本的 Hive 中, hive-default.xml.template文件中 hive.fetch.task.conversion 默认是 minimal, 修改为 more 后, 全局查找、字段查找、limit查找等都会直接执行而不会运行mapreduce.新版本的 Hive Fetch 的默认值已改为 more.2.本地模式数据量小的情况下, 可以使用本地模式...原创 2019-01-18 19:24:31 · 698 阅读 · 0 评论