hive
文章平均质量分 79
hive技术相关
Aying_seeya
专研大数据、Java ...
展开
-
hive 动态分区插入数据时报错
Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing rowat org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:157)at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:5原创 2020-11-18 17:20:54 · 1826 阅读 · 0 评论 -
大数据相关 各组件的参数调优
Hadoophdfs大量小文件处理1)会有什么影响(1)1个文件块,占用namenode多大内存150字节1亿个小文件150字节1 个文件块150字节128G能存储多少文件块? 128 * 102410241024byte/150字节 = 9亿文件块2)怎么解决(1)采用har归档方式,将小文件归档(2)采用CombineTextInputFormat(3)有小文件场景开启JVM重用;如果没有小文件,不要开启JVM重用,因为会一直占用使用到的task卡槽,直到任务完成才释放。JV原创 2020-08-15 16:16:25 · 725 阅读 · 0 评论 -
初始化HIVE时,执行bin/schematool -dbType mysql -initSchema 报错
初始化HIVE时,执行bin/schematool -dbType mysql -initSchema报错异常一:Metastore connection URL: jdbc:mysql://192.168.56.112/hive-demo?createDatabaseIfNotExist=true&useSSL=falseMetastore Connection Driver ...原创 2019-12-18 12:22:33 · 2803 阅读 · 2 评论 -
hive连jdbc报错,连接不上
1、在当前服务器启动hiveserver2服务,远程客户端通过beeline连接解决办法:1)修改core-site.xml文件,加入如下选项:<!--配置成*的意义,表示任意节点使用 hadoop 集群的代理用户 root 都能访问 hdfs 集群--><property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value></prop原创 2020-07-11 10:14:53 · 1322 阅读 · 0 评论 -
Hive的优化(最全)
1.概述 在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。2.介绍 首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题?数据量大不是问题,数据倾斜是个问题。jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几个jobs,耗时很长。原因是mapreduce作业初始化的时间...原创 2020-02-12 20:34:36 · 337 阅读 · 0 评论