![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
木_头人
这个作者很懒,什么都没留下…
展开
-
数据仓库的数据比对
1.数据量的比对 select count(*)2.数据内容全字段的比对,难度比较大。MySQL–》数据仓库full join结果作为 t表补数据: select * from t where bid is null 拿到a表字段的数据 拼接sql插入数据仓库删数据: select * from t where aid is null --> bid --delete 语句3...原创 2019-07-03 13:06:27 · 897 阅读 · 1 评论 -
Hive介绍及安装配置
1.产生背景1.MR来开发业务逻辑:繁琐、痛苦2.通过SQL来完成大数据的统计分析任何一个框架的诞生必然是由于某类问题的存在。2.介绍Apache Hive数据仓库软件支持使用SQL读取、写入和管理驻留在分布式存储中的大型数据集。结构可以投影到已经存储的数据上。提供了一个命令行工具和JDBC驱动程序来将用户连接到Hive。最初是由facebook管理,为了解决海量的结构化日志的统计问...原创 2019-07-16 17:15:23 · 147 阅读 · 0 评论 -
Hive的DDL
1.数据库2.表原创 2019-07-18 10:57:10 · 107 阅读 · 0 评论 -
HIVE的内部表跟外部表区别
建表语法:CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) [(col_name data_type [COMMENT col_comment], ... [constraint_...原创 2019-07-18 11:27:53 · 133 阅读 · 0 评论 -
常用函数跟4个by
1.常用函数hive (default)> select ename,sal, > case > when sal>1 and sal<=1000 then "lower" > when sal>1000 and sal<=2000 then "just so so...原创 2019-07-18 17:12:46 · 203 阅读 · 0 评论 -
HIVE函数(json_tuple)与(parse_url_tuple)
1.json_tuple函数json_tnple函数用来处理json数据创建一张表用来存储json数据hive (ruozedata_d7)> create table IF NOT EXISTS rating_json(json string);OKTime taken: 0.023 secondshive (ruozedata_d7)> load data local...原创 2019-07-22 11:13:47 · 2432 阅读 · 0 评论 -
topN跟复杂数据类型
1.topN案例1.1 统计每种性别中年龄最大的两条数据创建表并导入数据到HIVEhive (ruozedata_d7)> create table hive_rolenumber( > id int, > age int, > name string,...原创 2019-07-22 14:45:14 · 159 阅读 · 0 评论 -
HIVE的分区
在Hive中处理数据时,当处理的一张表的数据量过大的时候,每次查询都是遍历整张表,显然对于计算机来说,是负担比较重的。所以我们可不可以针对数据进行分类,查询时只遍历该分类中的数据,这样就能有效的解决问题。所以就会Hive在表的架构下,就会有分区的这个概念,就是为了满足此需求。分区表的一个分区对应hdfs上的一个目录分区表包括静态分区表和动态分区表,根据分区会不会自动创建来区分多级分区表,即创...原创 2019-07-22 16:59:29 · 415 阅读 · 0 评论 -
自定义函数并注册到hive 源码中
1.首先下载hive的源码包http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.15.1-src.tar.gz2.编写一个UDF 名字叫 AddPrefixUDF.javapackage com.ruozedata.bigdata.hive.udf;import org.apache.hadoop.hive.ql.exec.UD...原创 2019-09-25 17:51:39 · 163 阅读 · 0 评论