![](https://img-blog.csdnimg.cn/20191020134833848.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hive
文章平均质量分 85
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。
日月星辰TEL
如果技术不用于分享,将黯然失色...
展开
-
Hadoop3.0、Hive2.3.2、HBase2.1集群重置
一、hadoop集群重置1、关闭hbase和hdfsstop-habse.shstop-all.sh2、关闭zookeeperzkServer.sh stop3、删除nn、dn、jn配置目录数据rm -rf /home/cluster/hadoop/data/nn/*rm -rf /home/cluster/hadoop/data/dn/*rm -rf /home/cluster/hadoop/data/jn/*4、删除hdfs和hbase的日志文件数据rm -原创 2021-04-18 23:37:03 · 1040 阅读 · 0 评论 -
大数据集群搭建之Linux安装Hive2.3.2
一、安装准备1、下载地址https://www.apache.org/dyn/closer.cgi/hive2、参考文档3、ssh免密配置https://blog.csdn.net/qq262593421/article/details/1053255934、zookeeper安装https://blog.csdn.net/qq262593421/article/details/1069554855、hadoop安装...原创 2021-08-03 10:07:38 · 784 阅读 · 0 评论 -
shell脚本监控文件夹文件实现自动上传数据到hive表
createtb.sh#!/bin/bash#string="tablename;field1,field2,field3,field4;partition1,partition2,partition3"string=$*group=(${string//;/ })for i in ${group[@]};do ((m++)) if [[ m -eq 1 ]]...原创 2020-04-16 16:54:18 · 1848 阅读 · 0 评论 -
拒绝手敲,hive创建表只需要输入表名和字段即可自动建表(shell脚本实现)
#!/bin/bash# $1:表名 $2:分区1 $3:分区2 $4-$n:基础字段# 数据库名称,这里不作为参数用自变量写了database="observation"# hive 拼接语句,分为h1,h2,h3 # h1是建表语句的前半部,h2是参数列表中间部分,h3是建表语句的后半部h1="create external table $database.$1("# ...原创 2020-04-10 17:30:26 · 2171 阅读 · 3 评论 -
win10安装Hive3.0.0
hive官方文档:https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-RunningHiveServer2andBeeline一、下载 hive 二进制文件http://archive.apache.org/dist/hive/hive-2.1.1/二、配置环境变量三...原创 2020-03-19 11:16:43 · 3862 阅读 · 5 评论 -
大数据生态圈技术文档列表
hadoop:https://hadoop.apache.org/docs/stable/hive:https://cwiki.apache.org/confluence/display/Hive/GettingStartedhbase:https://hbase.apache.org/book.htmlyarn:https://hadoop.apache.org/docs/cu...原创 2020-03-02 18:04:35 · 1626 阅读 · 1 评论 -
Hive 六种存储格式
Hive六种存储格式:AVRO、ORC、PARQUET、RCFILE、SEQUENCEFILE、TEXTFFILE(avro、orc、parquet、rcfile、sequencefile、textfile) 简写语法 标准语法 STORED AS AVRO / STORED AS AVROFILE ROW ...原创 2020-03-02 17:14:19 · 1578 阅读 · 0 评论 -
Hive创建表语法
创建内部表// 创建内部表create table earth_inner(MMSI string,Message_ID string,Repeat_indicator string,Time string,Millisecond string,Region string,Country string)row format delimited fields termina...原创 2020-03-02 15:56:57 · 1159 阅读 · 0 评论 -
HIve内部表外部表概念
1. 外部表(external table)有external修饰,表数据保存在HDFS上,该位置由用户指定。删除表时,只会删除表的元数据,所以外部表不是有Hive完全管理的2. 内部表(internal table/managed table)没有external修饰,表数据保存在Hive默认的路径下,数据完全由Hive管理,删除表时元数据和表数据都会一起删除。3.区别...原创 2019-12-12 11:26:22 · 1490 阅读 · 0 评论 -
Hive导包报错解决:Missing artifact org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde
1、找本机的到maven仓库地址F:\Maven\repository\org\pentaho\pentaho-aggdesigner-algorithm\5.1.5-jhyde2、把pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar以外的文件全部删除3、项目右键执行Maven Update Project ,报错解决!...原创 2019-10-17 13:15:25 · 7485 阅读 · 0 评论