- 博客(3)
- 收藏
- 关注
RSS订阅原创 解决Hive不支持delete、update问题
2.要实现update和delete功能，该表就需要支持ACID（原子性、一致性、隔离性、持久性）支持，CLUSTERED BY(id) INTO 2 BUCKETS //表必须进行分桶。1.Hive是不支持事务的，所以也就无法支持DELETE和UPDATE操作。需要注意的是，启用ACID支持会增加额外的存储和性能开销，因此请合理使用。3.启用ACID支持。这通常需要在创建表时指定相应的属性。STORED AS ORC //表的存储格式必须是ORC。-- 删除指定条件下的记录。-- 更新指定条件下的记录。
2024-01-04 13:42:23
968
1
原创 Hadoop集群/Zookeeper服务启动失败（Unable to write in /tmp等问题）----虚拟机内存问题导致
1.根据所需内存需求，使用虚拟机扩展磁盘，然后在系统内进行分区（注意在虚拟机具有快照的情况下不能进行扩展，要先将快照进行清除后才可继续扩展）2.或在正常启动zookeeper服务时zkServer.sh start后发现内存不足报错，导致zookeeper服务启动失败。发现根目录已用空间已达100%，没有空余空间，导致集群及zookeeper服务启动失败。5.之前对逻辑卷的扩容，还要同步到文件系统，实现对根目录的扩容。启动zookeeper和集群服务，发现启动成功，问题解决。
2024-01-03 22:47:43
986
原创 启动HDFS HA NameNode启动成功不久后消失
HA按照要求配置好后，启动时，NameNod不能正常启动。在最开始，刚刚启动的时候jps看到了NameNode，但搁不久时间后，再次jps查看，发现NameNode不见。增大NameNode向JournalNode发起连接请求的重试间隔时间和重试次数，启动集群后，再次jps验证发现NameNode可以正常启动，即问题达到解决。JournalNode在没有启动好之前，NameNode已经达到尝试请求的最大数，导致系统不能正常运行。并把更改后的文件同步至集群其他节点中（scp命令，复制发送到其他节点）
2024-01-03 22:07:50
927
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人