![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
文章平均质量分 95
贫僧洗头爱飘柔
这个作者很懒,什么都没留下…
展开
-
Hive函数
内置运算符Hive官方文档内置函数Hive官方文档Hive内置函数测试各种内置函数的快捷方法:1、创建一个dual表create table dual(id string);2、load data local inpath 'home/hadoop/dual.dat' into table dual; 一个文件(一行,一个空格)到dual表 3、select substr('angelabab...原创 2018-04-22 13:56:18 · 538 阅读 · 0 评论 -
Hive原理详解
(一) Hive基础1.1 背景• 引入原因: – 对存在HDFS上的文件或HBase中的表进行查询时,是要手工写一堆MapReduce代码 select word, count(*) from ( select explode(split(sentence, ' ')) as word from article) t group by word即可完成wordcount(...原创 2018-03-25 20:00:53 · 18140 阅读 · 3 评论 -
Hive实战
实战案例1——数据ETL1.1 需求对web点击流日志基础数据表进行etl(按照仓库模型设计)按各时间维度统计来源域名top10已有数据表 “t_orgin_weblog”:+------------------+------------+----------+--+| col_name | data_type | comment |+------------------+...原创 2018-04-22 10:38:37 · 1704 阅读 · 1 评论 -
Hive环境搭建
0. Hive源码包下载http://mirror.bit.edu.cn/apache/hive/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载软件包#Masterwget http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-b...原创 2018-04-21 20:55:49 · 535 阅读 · 0 评论 -
大数据面试、笔试题收集
给定a、b两个文件,各存放50亿个url,每个url各占用64字节,内存限制是4G,如何找出a、b文件共同的url?题目描述:给定a、b两个文件,各存放50亿个url,每个url各占用64字节,内存限制是4G,如何找出a、b文件共同的url? 分析:我们先来看如果要把这些URL全部加载到内存中,需要多大的空间。1MB = 2^20 = 10^6 = 100W1GB = 2^30 = 10^9 =...原创 2018-05-14 22:29:41 · 945 阅读 · 0 评论