Hive
isOllie
一只菜鸡
展开
-
Hive 性能优化(全面)解决数据倾斜等问题
Hive性能优化(全面)1.介绍首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题? 数据量大...转载 2019-08-18 11:42:15 · 560 阅读 · 0 评论 -
什么是数据分层,数据分层的作用!
大数据环境下该如何优雅地设计数据分层0x00 前言最近出现了好几次同样的对话场景:问:你是做什么的?答:最近在搞数据仓库。问:哦,你是传统行业的吧,我是搞大数据的。答:......发个牢骚,搞大数据的也得建设数据仓库吧。而且不管是传统行业还是现在的互联网公司,都需要对数据仓库有...转载 2019-08-18 11:38:30 · 6688 阅读 · 0 评论 -
Caused by: org.xml.sax.SAXParseException; systemId: file:/opt/modules/hive-1.2.1-bin/conf/
Caused by: org.xml.sax.SAXParseException; systemId: file:/opt/modules/hive-1.2.1-bin/conf/hive-site.xml; lineNumber: 7; columnNumber: 91; The element type “value” must be terminated by the matching en...原创 2019-07-06 22:47:56 · 4889 阅读 · 0 评论 -
Hive hive的分区表和分桶表的区别
1,Hive分区。 是指按照数据表的某列或某些列分为多个区,区从形式上可以理解为文件夹,比如我们要收集某个大型网站的日志数据,一个网站每天的日志数据存在同一张表上,由于每天会生成大量的日志,导致数据表的内容巨大,在查询时进行全表扫描耗费的资源非常多。那其实这个情况下,我们可以按照日期对数据表进行分区,不同日期的数据存放在不同的分区,在查询时只要指定...转载 2019-07-15 22:33:34 · 456 阅读 · 0 评论 -
Hive Hive和Mysql的区别
hive:属于大数据生态系统中一个技术框架、用于分析数据数据仓库ETL工具(ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过萃取(extract)、转置(transform)、加载(load)至目的端的过程)建立在Hadoop之上,为用户提供SQL语句分析海量数据,离线数据分析底层MapReduce类似于MYSQL数据库中database和ta...原创 2019-07-18 22:04:05 · 1125 阅读 · 0 评论 -
Hive显示当前使用的数据库,并打印表头等相关信息的两种方式
进入到hive里不知道用的是那个数据库查询表的时候也不知道表头有哪些字段这里配置显示当前使用数据库和显示表头有两种方法:方法一 : 配置文件 hive-site.xml<property> <name>hive.cli.print.header</name> <value>true</value>...原创 2019-07-07 22:35:45 · 1140 阅读 · 0 评论 -
Hive bin/hive(Beeline)和hiverserver2和metastore 3者的区别
Beeline:客户端,相比于bin/hive他的界面更加优化hiverserver2: HiveServer2是用来提交查询的,也就是用来访问数据的。metastore :元数据包含用Hive创建的database、table等的元信息。元数据存储在关系型数据库中。如Derby、MySQL等。客户端连接metastore服务,metastore再去连接MySQL数据库来存取元数据。有了m...原创 2019-07-16 22:53:29 · 963 阅读 · 0 评论 -
Hive hiveserver2、metastore脚本启动
#!/bin/sh# hive家目录HIVE_HOME=/opt/cdh5.7.6/hive-1.1.0-cdh5.7.6# 启动服务的时间DATE_STR=`/bin/date "+%Y%m%d%H%M%S"`# 日志文件名称(包含路径)HIVE_SERVER2_LOG=${HIVE_HOME}/logs/hiveserver2-${DATE_STR}.log/usr/b...原创 2019-07-17 22:05:03 · 676 阅读 · 0 评论 -
Hive 脚本执行
hive执行脚本 hive -e “sql语句” 会将查询的结果打印在控制台上。 hive -e “sql语句” >> xxx 会将查询的结果重定向到xxx文件中,会显示OK和抓取的数据条数 hive -S -e “sql语句” >> xxx 会将查询的结果重...转载 2019-07-07 17:49:20 · 577 阅读 · 0 评论