Hive
关注
分享
扫一扫
Mr_Wuuuuuuu
多读书，多看报，少吃零食，多睡觉！
展开
-
Hive学习笔记（一）-- Hive简介及基本概念
Hive简介Hive是什么hive是一个构建在Hadoop之上的数据仓库和传统的数据仓库一样的点主要用来访问和管理数据同样提供了类sql查询语言和传统的数据仓库不一样的点可以处理超大规模的数据可以扩展和容错性非常强Hive可以做什么传统的数据仓库任务ETL报表生成Ad-hoc(点对点)数据分析大规模数据分析批处理程序Hive典型的应用场景日志分析统计一...原创 2019-02-15 15:24:48 · 400 阅读 · 0 评论 -
Hive学习笔记（二）-- Hive数据定义语言(DDL)
文章目录Hive数据定义语言(DDL)1.创建内部表语句2.创建外部表3.使用不同的文件格式4.行存储与列存储5.如何创建带压缩的ORC表：步骤Hive数据定义语言(DDL)Hive的官方提供的建表语法如下所示：LanguageManual DDLCREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name ...原创 2019-02-15 20:57:37 · 321 阅读 · 1 评论 -
配置好Hive之后，启动Hive出现java.sql.SQLException: null异常
文章目录1.异常信息2.原因3.解决方案1.异常信息安装完hive配置好hive-site.xml文件之后报错java.sql.SQLException: null, message from server: “Host ‘master1’ is not allowed to connect to this MySQL server”2.原因因为安装好mysql之后没有给相应的ip配置...原创 2019-02-17 11:06:14 · 1578 阅读 · 0 评论 -
配置好Hive之后，启动Hive出现org.apache.hadoop.hive.ql.metadata.HiveException: MetaException异常
文章目录1.异常信息2.原因3.解决方案1.异常信息2.原因没有hive的元数据表。3.解决方案1）在配置hive-site.xml的jdbc的url时，在连接中加上createDatabaseIfNotExist=true2）使用该命令创建hive元数据表schematool -initSchema -dbType mysql...原创 2019-02-17 11:17:26 · 8207 阅读 · 0 评论 -
删除hive的部分分区后，Presto查询数据失败，但是Hive查询却有数据
文章目录1.异常信息2.原因3.解决方案1.异常信息查询使用presto查询hive表，显示partition location dose not exist: hdfs:\xxxx2.原因对hive数据分区进行了物理删除，但是hive查询时可以屏蔽该错误，但是Presto查询的时候不能屏蔽该错误，而是将该错误抛出。3.解决方案手动删除hive的元数据中的分区信息，如下所示：alt...原创 2019-02-17 11:33:30 · 3984 阅读 · 0 评论 -
Hive学习笔记（三）-- Hive的运行原理
以下内容是结合小象学院的hive视频整理的学习笔记各个组件：1. Hive CLI：查询处理器2. MetaStore：元数据信息3. YARN：计算平台4. HDFS：数据存储注：很多第三方组件一般只需要获得hive metaStore信息以及HDFS上的数据之后，就可以自己进行计算。处理流程：根据MetaStore中的信息，将sql解析成MR任务，在提交给yarn去执行；...原创 2019-02-27 20:12:33 · 2946 阅读 · 0 评论 -
Hive学习笔记（四）-- Hive参数优化总结
一、通用参数优化1.1 启用数据压缩1.2 Job执行优化1.3 选择合适的引擎1.4 MapReduce参数优化Map阶段优化Reduce阶段优化Shuffle阶段优化二、Join优化2.1 Map Join2.2 Bucket Map Join...原创 2019-02-28 21:01:06 · 1204 阅读 · 0 评论