Hive
文章平均质量分 86
cpuCode
站在巨人的肩上行走 https://github.com/CPU-Code
展开
-
Hive 调优
Hive 调优执行计划(Explain)基本语法查看执行计划查看详细执行计划Fetch抓取设置成 none设置成 more本地模式HQL 语法优化小表大表 Join ( MapJoin )设置 MapJoin 参数MapJoin 工作机制创建表导入数据Join大表 Join 大表空 KEY 过滤空key转换不随机分布空null值随机分布空 null 值SMB ( Sort Merge Bucket join )Group ByCount(Distinct) 去重原创 2022-05-11 13:42:50 · 1394 阅读 · 0 评论 -
Hive 压缩和存储
Hive 压缩和存储Hadoop 压缩配置MR支持的压缩编码压缩参数配置开启Map输出阶段压缩开启 hive 中间传输数据压缩功能开启 mapreduce 中 map 输出压缩功能设置 mapreduce 中 map 输出数据的压缩方式执行查询语句开启 Reduce 输出阶段压缩开启 hive 最终输出数据压缩功能开启 mapreduce 最终输出数据压缩设置 mapreduce 最终数据输出压缩方式设置 mapreduce 最终数据输出压缩为块压缩输出结果是否是压缩文件文件存原创 2022-05-09 21:21:13 · 703 阅读 · 0 评论 -
Hive 分区分桶表
分区表分区表基本操作创建分区表语法加载数据到分区表中加载数据查询分区表中数据增加分区删除分区查看分区表有多少分区查看分区表结构二级分区加载数据分区表和数据关联上传数据后修复上传数据后添加分区load数据到分区动态分区开启动态分区创建目标分区表设置动态分区查看分区表的分区分桶表创建分桶表查看表结构抽样查询原创 2022-05-05 11:20:04 · 572 阅读 · 0 评论 -
Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.错误现象 :解决方案 :错误现象 :ERROR [main] hive.HiveConfig (HiveConfig.java:getHiveConf(48)) - Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR原创 2022-03-18 15:43:16 · 2314 阅读 · 0 评论 -
beyond the ‘VIRTUAL‘ memory limit 错误解决方案
beyond the 'VIRTUAL' memory limit错误现象 :解决方案 :错误现象 :Application application_1647175777584_0008 failed 2 times due to AM Container for appattempt_1647175777584_0008_000002 exited with exitCode: -103Failing this attempt.Diagnostics: [2022-03-16 08:56:18原创 2022-03-16 09:51:41 · 1943 阅读 · 0 评论 -
ClassNotFoundException: org.apache.spark.AccumulatorParam 解决方案
ClassNotFoundException: org.apache.spark.AccumulatorParam 解决方案错误现象 :解决方案 :错误现象 :Job failed with java.lang.ClassNotFoundException: org.apache.spark.AccumulatorParamFAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTas原创 2022-03-13 21:52:51 · 6167 阅读 · 8 评论 -
Hive DDL数据定义、DML数据操作
Hive DDL数据定义、DML数据操作DDL数据定义创建数据库查询数据库显示数据库查看数据库详情切换当前数据库修改数据库删除数据库创建表管理表(内部表)外部表管理表与外部表的互相转换修改表重命名表增加、修改和删除表分区增加/修改/替换列信息删除表DML数据操作数据导入向表中装载数据(Load)通过查询语句向表中插入数据(Insert)查询语句中创建表并加载数据(As Select)创建表时通过Location指定加载数据路径Import 数据到指定 Hive 表中数据导出Insert导出Hadoop命令导原创 2022-02-10 23:14:57 · 1088 阅读 · 0 评论 -
Hive Select 查询数据
Hive 定义操作查询数据DDL数据定义创建数据库查询数据库显示数据库查看数据库详情切换当前数据库修改数据库删除数据库创建表管理表(内部表)外部表管理表与外部表的互相转换修改表重命名表增加、修改和删除表分区增加/修改/替换列信息删除表DML数据操作数据导入向表中装载数据(Load)通过查询语句向表中插入数据(Insert)查询语句中创建表并加载数据(As Select)创建表时通过Location指定加载数据路径Import数据到指定Hive表中数据导出Insert导出Hadoop命令导出到本地Hive S原创 2021-12-20 21:18:37 · 3434 阅读 · 0 评论 -
Error: Could not open client transport with JDBC Uri 解决方案
这里写自定义目录标题错误现象解决方案错误现象[root@cpucode100 bin]# beeline -u jdbc:hive2://cpucode100:10000 -n rootConnecting to jdbc:hive2://cpucode100:1000021/12/15 21:41:51 [main]: WARN jdbc.HiveConnection: Failed to connect to cpucode100:10000Error: Could not open cli原创 2021-12-15 21:57:06 · 31929 阅读 · 20 评论 -
Hive 之旅
Hive 之旅Hive基本概念Hive是什么hive简介Hive本质Hive的优缺点优点缺点Hive架构原理Hive和 数据库比较查询语言数据更新执行延迟数据规模Hive安装Hive安装地址Hive基本概念Hive是什么hive简介Hive:由Facebook开源用于解决海量结构化日志的数据统计工具Hive 是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能Hive本质将HQL转化成MapReduce程序Hive 处理的数据存储在 HDFS原创 2021-12-07 15:32:19 · 1895 阅读 · 0 评论