![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hql
CesarChoy
知识创造未来~~
展开
-
Hive及Impala的Map类型使用案例
前文: 当一个用户拥有多个标签(私有属性)或一个标签拥有多个用户时,可以使用map来维护复杂的关系。一、1.1 Impala建表这里使用常用的parquet格式展示drop table if exists hive_map;CREATE TABLE hive_map(id INT, name MAP < STRING, STRING >)STORED AS PARQUET;1.2 Hive插入只能使用MR引擎,否则报错insert i...原创 2020-09-03 19:49:34 · 1672 阅读 · 0 评论 -
基于Spark的实时项目架构、心得及相关配置
前文: 一套完整的项目思路及Spark+Redis+Mysql等连接配置框架。一、项目架构1.1实时项目思路1.1.1通过Maxwell解析Mysql的binlog数据,将维度数据同步到Redis,同时将业务数据进行实时关联清洗,发送回Kafka;1.1.2前端埋点日志+后台系统回填的日志 ,发送到另外一个程序,也是通过查询redis进行实时关联清洗,发送回Kafka;1.1.3最后一个程序把控数据落地Mysql(含部分业务进行二次清洗关联查询)1.2数...原创 2020-08-10 15:03:07 · 920 阅读 · 0 评论 -
SQL练习题
前文 一、要求10分钟内完成二、答案1、14 笛卡尔积2、73、74、7 过滤5、14 6、使用Hive的分区方法select id,course,score,row_number(partition by score order by score desc,id) 排名form t_score7、思路:加性别标签,再分组统计...原创 2020-02-23 16:10:08 · 346 阅读 · 0 评论 -
HiveSql优化及思路、函数
前文:一、HiveSql优化原创 2020-02-20 10:34:46 · 215 阅读 · 0 评论 -
HiveSql基本操作+函数(字符串、时间、分析)
前文: Hive把结构化数据转换成表进行sql操作,底层为MapReduce操作,掌握好Hql语句,将大大提升我们的数据处理能力。一、基本操作1、库2、表3、导入数据4、导出数据5、外部表6、分区表7、Join操作二、练习1、字符串操作:连接、切割、正则匹配2、时间函数3、找出每年最大温度(学...原创 2019-06-26 15:30:26 · 2124 阅读 · 0 评论