hive
whx@Flora
这个作者很懒,什么都没留下…
展开
-
HIVE2.3.6部署
使用hive的前提是,在服务器已经部署好了hadoop 1.使用软件版本: apache-hive-2.3.6-bin.tar.gz mysql-8.0.17-linux-glibc2.12-x86_64.tar.xz mysql-connector-java-8.0.17.jar hadoop-2.8.5.tar.gz 2.解压 tar -xzcf apache-hive-2.3.6-bin.t...原创 2019-09-16 00:05:31 · 2214 阅读 · 6 评论 -
Hive编程-琐碎01
初识Hive 1.Hive提供Hive查询语音(简称HiveQL或HQL)来查询存储在Hadoop集群中的数据。 2.Hive(本质)可以将大多数查询转换为MapReduce任务(job) 3.Hive适用于数据仓库应用程序,使该应用程序进行相关的静态数据分析,可以维护海量数据,并对数据进行挖掘,形成意见和报告,不需要快速响应给出结果,数据本身也不会频繁变化。 4.Hive的使用受限于Hadoop...原创 2019-09-16 18:14:45 · 262 阅读 · 0 评论 -
HiveQL编程-琐碎03
HiveQL数据操作 1.向表中装载数据 load data local inpath '/data/employees' overwrite into table employees partition (country='US',state='CA') 如果分区目录不存在,此命令会自动创建分区目录,再将文件拷贝到分区目录下 如果目标表是非分区表,则省略partition子句 Local...原创 2019-09-18 17:57:29 · 413 阅读 · 0 评论 -
HiveQL编程-琐碎04
HiveQL函数 1.系统自带函数 1)查看系统自带函数 hive (onhive)> show functions; 2)显示自带函数的用法 hive (onhive)> desc function extended upper; OK tab_name upper(str) - Returns str with all characters changed to uppercas...原创 2019-09-20 17:46:10 · 206 阅读 · 0 评论 -
HiveQL企业级调优
企业级调优 1. fetch抓取 Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM employees;在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台。 在hive-default.xml.template文件中hive.fetch.task.conversion默认是more,...原创 2019-09-20 23:27:35 · 106 阅读 · 0 评论 -
数据仓库
数据仓库 什么是数据仓库 数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。 数据仓库能干什么? 1)年度销售目标的指定,需要根据以往的历史报表进行决策,不能拍脑袋。 2)如何优化业务流程 例...转载 2019-09-21 23:15:33 · 160 阅读 · 0 评论