![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
leoxry
天道酬勤,拼搏一个最好的自己送给未来的自己,每天开开心心敲代码就是一种幸福,不计得失,回归刚开始学习时内心的单纯
展开
-
Hive - 问题 & 解决
1 Hive - mapjoin问题:hive sql:select f.a,f.b from A t join B f on ( f.a=t.a and f.ftime=20110802)该语句中B表有30亿行记录,A表只有100行记录,而且B表中数据倾斜特别严重,有一个key上有15亿行记录,在运行过程中特别的慢,而且会在reduce的过程中遇到内存不够而报错解决方案:考虑使...原创 2019-10-20 20:13:33 · 308 阅读 · 0 评论 -
Hive - 安装
1 启动集群start-all.sh2 hive压缩包解压缩tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/local/3 移动到规划位置mv /usr/local/apache-hive-1.2.1-bin/ /usr/local/hive-1.2.14 添加环境变量[root@hadoop02 ~]# vi /etc/prof...原创 2019-09-08 15:35:55 · 283 阅读 · 0 评论 -
Hive - 文件存储、文件压缩、视图、日志、运行方式、JDBC、优化
一、文件存储格式File Formats and Compression: RCFile, Avro, ORC, Parquet; Compression, LZO1.1 textfile1、textfile是hive默认的数据文件存储格式2、textfile是普通的文件文本存储3、不压缩4、可以配合压缩配置属性进行压缩CREATE TABLE `u4`( `id` int,...原创 2019-09-19 21:34:07 · 593 阅读 · 0 评论 -
Sqoop
一、Sqoop1 官网http://sqoop.apache.org/2 概述1、用于结构化数据存储(如传统关系型数据库)和Hadoop之间的数据传输2、Sqoop的核心设计思想是利用MapReduce加快数据传输速度,即Sqoop的导入和导出功能是通过基于Map Task(只有Map)的MapReduce作业完成,因此Sqoop是一种批处理方式进行数据传输,难以实现实时的数据进行导入...原创 2019-09-20 15:07:46 · 1262 阅读 · 0 评论 -
Tez - 安装
一、Tez 安装1 下载地址https://mirrors.tuna.tsinghua.edu.cn/apache/tez/0.9.0/2 二进制包安装2.1 解压并重命名[root@hadoop01 ~]# tar -zxvf /home/apache-tez-0.9.0-bin.tar.gz -C /usr/local/[root@hadoop01 ~]# mv /usr/l...原创 2019-09-21 12:02:06 · 1316 阅读 · 0 评论 -
Tez - 安装、简介、优化
一、Tez 安装1 下载地址https://mirrors.tuna.tsinghua.edu.cn/apache/tez/0.9.0/2 二进制包安装2.1 解压并重命名[root@hadoop01 ~]# tar -zxvf /home/apache-tez-0.9.0-bin.tar.gz -C /usr/local/[root@hadoop01 ~]# mv /usr/l...原创 2019-09-21 14:47:15 · 1461 阅读 · 0 评论