hive
文章平均质量分 72
不埋雷的探长
深耕BigData技术,专注于大数据技术领域的知识分享。CSDN认证博客专家,目前就职于腾讯,内推可私聊~ 热爱软件,喜欢编程的阳光小伙子~ 千万千万不要放弃学习,千万千万要搞好人际关际,共勉~
展开
-
大数据HiveSQL UDTF 函数 explode
SQL 高级用法,炸裂函数explode原创 2022-06-05 12:11:29 · 2608 阅读 · 3 评论 -
LEFT JOIN 与 RIGHT JOIN
一、SQL LEFT JOIN 关键字LEFT JOIN 关键字会从左表 (table_name1) 那里返回所有的行,即使在右表 (table_name2) 中没有匹配的行。LEFT JOIN 关键字语法SELECT column_name(s)FROM table_name1LEFT JOIN table_name2ON table_name1.column_name=table_name2.column_name注释:在某些数据库中, LEFT JOIN 称为 LEFT OUT原创 2021-08-25 07:20:38 · 2435 阅读 · 4 评论 -
Hive SQL 小表与大表Join 原理与实操
在数据开发时,经常遇到需要将大表某些暗文翻译成明文,正常的做法是将暗文与明文通过维度建立起映射关系,一般在数据分析时通过与维度进行join 关联。但往往 join的话,发现运行效率慢、耗时过长、甚至连接操作会发生OOM。本文就是通过介绍map join 解决小表与大表join 运行过慢的问题。原创 2021-08-07 23:27:07 · 8341 阅读 · 4 评论 -
Hive窗口函数Over partition by
- 目录1、聚合函数+over 2、partition by子句 3、order by子句 4、★window子句(里面包含) - PRECEDING:往前 - FOLLOWING:往后 - CURRENT ROW:当前行 - UNBOUNDED:起点 5、★窗口函数中的序列函数:包含NTILE(n),row_number、rank、dense_rank 简介本文主要介绍hive中的窗口函数。hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于ola.原创 2021-04-10 09:38:15 · 2312 阅读 · 3 评论 -
故障解决:spark 访问hive 库、表报错 org.apache.spark.sql.AnalysisException: Table or view not found
1、spark项目 + 外部配置文件【最优,如CDH平台,配置改变,无需重新编译、打包】2、spark项目(resources目录下存放hive-site.xml)【次之,如果配置变动需要更新配置文件,重新编译打包】3、spark项目(在代码中写死配置选项)【最差,涉及配置修改后,需要对代码修改,然后重新编译打包】...原创 2020-09-23 22:32:19 · 11567 阅读 · 10 评论 -
hadoop集群小项目实践及遇到问题解决办法
小项目功能说明:创建外部分区表hmbbs,分区字段当天日期为$CURRENT,用于记录清洗后的日志信息使用flume工具将浏览日志传入flume使用脚本对数据进行清洗并将清洗后的数据保存到/cleaned/$CURRENT目录下为数据库hmbbs添加分区,即将清洗后的数据添加到数据库中查询有效信息数据,并将有效信息输出到hive表中,实际数据存储在hdfs中将hdfs有效信息数据,导出到windows平台下的MySQL实践步骤:原创 2017-07-03 17:52:26 · 1896 阅读 · 0 评论 -
使用hive、java api两种方式实现wordcount功能、及个人感悟
使用hive、java api两种方式实现wordcount功能、及个人感悟原创 2017-06-30 17:28:59 · 1334 阅读 · 0 评论 -
Hive UDF实操及解析说明
hive类UDF工作原理要继承org.apache.hadoop.hive.ql.exec.UDF类,实现evaluate方法代码如下:package cn.itcast.hive.udf;import java.util.HashMap;import java.util.Map;import org.apache.hadoop.hive.q原创 2017-06-29 17:59:24 · 1442 阅读 · 0 评论 -
hive安装过程全程解析、hive常规操作、说明
hive安装过程全程解析、hive常规操作、说明原创 2017-06-29 17:58:56 · 1305 阅读 · 1 评论