hive
文章平均质量分 84
hive入门
独孤雨鸿
这个作者很懒,什么都没留下…
展开
-
记因hive配置文件参数运用不当导致 sqoop MySQL导入数据到hive 失败的案例
FAILED: NullPointerException nullERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Hive exited with status 64hive-site.xml配置hive.security.authorization.manage和hive.security.authenticator.manager参数原创 2024-06-25 14:47:55 · 1280 阅读 · 0 评论 -
spark安装以及hive on spark和spark on hive 的配置
安装spark版本为已经编译好的spark-3.2.1-bin-hadoop3.2-scala2.13.tgz,其同样兼容hadoop-3.3.2;Hive on Spark(为hive配置spark引擎):Hive既作为存储元数据又负责SQL的解析优化,语法是HQL语法,执行引擎变成了Spark,Spark负责采用RDD执行。Hive默认执行引擎是mapreduce,由于需频繁读取磁盘,效率比较低,Spark在内存中读取数据,所以总体来讲比MapReduce快很多(当然首次执行速度还是比较慢的)..原创 2022-06-07 17:30:22 · 3800 阅读 · 0 评论 -
hive集成hbase之创建映射表的两种方式
hive-hbase映射表内部表:新表格,原hbase中不含该表,在hive中删除映射表亦会同步删除hbase中被映射的表;外部表:hbase中含有该表格,在hbase建立映射表,hive中的映射表被删除不影响hbase中的表原创 2022-06-06 16:25:47 · 2116 阅读 · 0 评论 -
kettle与hive建立连接教程
要替换kettle文件的位置:D:\programfile\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30。注意是要放在hdp30目录下的lib文件夹,而不是像把Oracle/MySQL驱动一样放在data-integration目录下的lib文件夹。版本说明:kettle:pdi-ce-8.3.0.0-371.zip。Hadoop集群:hadoop-3.3.2。如下建立db连接,恭喜测试成功!原创 2022-12-11 23:16:54 · 3221 阅读 · 0 评论 -
hive安装及整合hbase
整合原理:Hive与HBase整合的实现是利用两者本身对外的API(应用程序编程接口)互相通信来完成的, HBase作为分布式的NOSQL数据库,并不支持传统的SQL查询,通过将Hive框架与HBase进行集成,我们可以实现使用HQL对HBase的数据进行操作,当我们使用HBase与Hive集成,其本质是Hive作为HBase的客户端。整合意义:①通过Hive把数据加载到HBase中②通过整合,让HBase可以进行多表关联查询及复杂的数据分析...原创 2022-06-05 14:43:30 · 978 阅读 · 0 评论 -
hive使用时的用户权限问题
Execution Error, return code 1 from;ljr is not allowed to add roles;Permission denied: Principal [name=ljr, type=USER] does not have following privileges for operation GRANT_PRIVILEGE;解决办法:1、在hive-site.xml中指定超级管理员2、通过beeline以ljr用户进入hive执行相关操作原创 2022-12-11 23:38:03 · 3177 阅读 · 1 评论