HIVE
文章平均质量分 63
qq_33361080
这个作者很懒,什么都没留下…
展开
-
HIVE centos6.5环境搭建
1.关于hive的几个网站官网:https://cwiki.apache.org/confluence/display/Hive/GettingStartedGitHub:https://github.com/apache/hive下载路径:http://archive.apache.org/dist/hive/2.解压hive版本 0.13.1hadoop版本 2.5.0...原创 2018-09-12 17:27:22 · 504 阅读 · 0 评论 -
HIVE基本使用
笔者注:这里安装的版本为hive-0.13.11.基本操作注:[]表示可选1.创建数据库create database [if not exists] db_hive ;2.使用数据库use db_hive ;3.删除数据库drop database [if exists] db_hive;4.创建表 create table stu (id int ,na...原创 2018-09-12 21:01:05 · 185 阅读 · 0 评论 -
HIVE架构以及HIVE常见问题
1.hadoop生态系统架构图hive是运行在YARN上的,数据存储在HDFS上。2.HIVE实现架构图将sql语句转换为MapReduce,当然hive本身做了一些优化,有些任务不会走MapReduce。hive其实就是把结构化的数据文件映射到表中,hive表的元数据信息存储在关系型数据库中,具体可以参见我的另一篇博客,配置了mysql数据库。SQLParser 对sql...原创 2018-09-12 21:39:08 · 266 阅读 · 0 评论 -
HIVE 表的使用
1.官网链接:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-CreateTableCreate/Drop/TruncateTable2.创建表和数据库注[]表示可有可无1.create table if not exists db_name.table( ...原创 2018-09-13 20:22:02 · 167 阅读 · 0 评论 -
HIVE数据的导入与导出详解
1.导入load data [local] inpath '' [overwrite] into database.table [partition(partcol=val)]原始文件在linux本地 加上local 如果原始数据文件在hdfs 不用local如果是覆盖数据加上overwrite 如果是追加 不要overwrite如果是分区表加上partition,不是就不用...原创 2018-09-13 21:46:25 · 398 阅读 · 0 评论 -
HIVE中的查询
1.官网链接:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select跟mysql差不多啊group by1.查询每个部门的平均工资(select 的字段必须在group by或者聚合函数里面)select t.deptno,avg(t.sal) avg_salfrom emp tgrou...原创 2018-09-14 09:06:29 · 213 阅读 · 0 评论 -
HIVE排序
1.官方文档:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+SortBy启动时的一些提示信息In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer=<...原创 2018-09-14 10:26:34 · 284 阅读 · 0 评论 -
HIVE中的UDF编程
1.官方文档https://cwiki.apache.org/confluence/display/Hive/HivePluginsUDF:一进一出UDAF:多进一出 (aggregation 聚集 类似于count/max/min)UDTF:一进多出2.查看自带的函数show functions;查看一个函数的使用desc function extended...原创 2018-09-14 11:35:49 · 269 阅读 · 0 评论