Hive学习笔记
Hive
一角残叶
人生如逆旅,我亦是行人
展开
-
Hive学习笔记(1)—— Hive 介绍 和 安装
1 Hive 介绍Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。1.1 为什么使用Hive?直接使用hadoop所面临的问题:(1)人员学习成本太高;(2)项目周期要求太短;(3)MapReduce实现复杂查询逻辑开发难度太大;操作接口采用类SQL语法,提供快速开发的能力;避免了去写MapReduce,减少开发人员的...原创 2018-08-31 10:42:34 · 774 阅读 · 0 评论 -
Hive学习笔记(5)—— hive分桶
1 注意order by 会对输入做全局排序,因此只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。sort by不是全局排序,其在数据进入reducer前完成排序。因此,如果用sort by进行排序,并且设置mapred.reduce.tasks>1,则sort by只保证每个reducer的输出有序,不保证全局有序。distribute by(字段)根据指定的...原创 2018-09-04 09:30:05 · 304 阅读 · 0 评论 -
Hive学习笔记(2)—— Hive thrift服务,分区表
1 thrift服务1.1 启动 启动为前台:bin/hiveserver21.2 连接找一个 符合thrift 协议的客户端去连接,hive 自带 beeline, 命令行输入 beeline !connect jdbc:hive2://localhost:10000 2 Hive 基本操作...原创 2018-09-01 09:05:33 · 1397 阅读 · 0 评论 -
Hive学习笔记(6)—— hive自定义函数 和 transform 的使用
1原创 2018-09-04 21:22:06 · 575 阅读 · 0 评论 -
Hadoop 2.7.6 上安装 hive 2.3.0
1 安装配置mysql安装mysql2 hive2.3.0 下载hive2.3.0下载3 解压 将文件夹名字改为 hive4 配置环境变量/etc/profileexport HIVE_HOME=/home/hadoop/apps/hiveexport PATH=$PATH:$HIVE_HOME/bin命令行输入 source /etc/prof...原创 2018-09-02 15:11:11 · 2518 阅读 · 1 评论 -
Hive学习笔记(7)—— hive实战 级联求和
1原创 2018-09-05 09:58:32 · 531 阅读 · 0 评论 -
Hive学习笔记(3)—— hive 初次测试
1 为表建立分桶 发现并没有分桶 清空这张表 truncate table t_buck; 发现报错INFO : Number of reduce tasks is set to 0 since there's no reduce operatorINFO : number of splits:1INFO : Submitting tokens fo...原创 2018-09-03 11:14:17 · 1210 阅读 · 1 评论 -
Hive学习笔记(4)—— hive练习
1 数据1.1 students.txtSno,Sname,sex,Sage,Sdept95001,李勇,男,20,CS95002,刘晨,女,19,IS95003,王敏,女,22,MA95004,张立,男,19,IS95005,刘刚,男,18,MA95006,孙庆,男,23,CS95007,易思玲,女,19,MA95008,李娜,女,18,CS95009,梦圆圆,女...原创 2018-09-03 16:09:57 · 1037 阅读 · 0 评论