- 博客(2)
- 收藏
- 关注
RSS订阅原创 配置了hive on spark 模式以后，hive不能进行创建表等操作
配置hive on spark时，有一步是将编译好的 spark-2.4.5-bin-without-hive 中的jars目录下的。用 scp 的方式取代软链接（操作前记得删除 hive/lib 目录下的 上述三个jar包）在配置 hive on spark 之前，hive是正常使用的。三个jar包以软连接的形式指向 hive 的 lib 目录下。如果是以这种形式操作出现 hive 不能正常使用的。仅供参考，可能有用！
2023-04-18 18:02:03
181
1
原创 简单的记录一下，Hadoop执行wordcount卡在job running ,以及hive进行mapreduce时意外被kill的情形。
hadoop 默认检查磁盘状况，一旦超过默认的90%就会导致数据节点拒绝执行mapreduce，通过在yarn-site.xml 设置更大的阈值，延迟节点拒绝mapreduce的情况。3.更改 yarn-site.xml 里面的运行内存。上面的办法我都有试过，虽然没有解决问题，但并不能说是错的，可以尝试，如果没有解决的话可以试试下面的办法。出现其中任何一个问题，另一个问题大概率也会出现，也就是说二者出现问题的原因是一样的。一般来说，到这一步其他的配置因该是没有问题的。可以重起集群，不重启也能立即生效。
2022-12-09 16:26:35
742
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人