CDH集群开发和运维
Lucien_Hu
这个作者很懒,什么都没留下…
展开
-
impala查询kudu中的数据的时候报master has no leader
分析:这种情况首先考虑重启之后kudu的某个master节点启动失败了,结果只注册了两个节点到集群中,两个节点无法选举出leader,就算后期手动拉起那个启动失败的master也不会增加注册到集群,这应该是kudu的一个bug。解决方法:整个重启kudu,再在impala中invalidate metadata一般就能解决问题。注:还有一种极为少见的情况,集群节点的hostname配置错误,一般不会出现这个问题,注意核对一下各个节点的host那么即可,centoshost那么文件地址:/etc/ho原创 2021-06-07 14:21:29 · 590 阅读 · 0 评论 -
为hdfs增加磁盘扩容
到服务器中对每台服务器进行添加磁盘操作:因为在Linux中,常用2种分区表:MBR分区表(即主引导记录)所支持的最大分区:2T,而且对分区有限制:最多4个主分区或3个主分区加一个扩展分区 [fdisk命令操作] GPT分区表(即GUID分区表)是源自EFI标准的一种较新的磁盘分区表结构的标准,与MBR分区方式相比,具有如下优点:突破MBR 4个主分区限制,每个磁盘最多支持128个分区。支持大于2T的分区,最大可达18EB。 [parted命令操作]使用 parted 建立大小超过2T的分区p原创 2020-06-10 16:27:14 · 878 阅读 · 0 评论 -
kudu重装后,impala中的kudu表无法删除——Impala与Hive和Kudu之间的一个小bug
最近又玩了一个新CDH集群,安装过程中手贱重新装了一遍kudu,然后发现在impala中创建的两张kudu表无法进行任何操作,无法CRUD,不能drop,仔细分析impala跑出来的日志,一直报RPC远程调用的错误,说无法连接kudu的master。在impala中,基于新的kudu建立的表又可以正常读写,不会报那两个错误,这到底是怎么回事呢?搞了大半天,看遍了kudu和impala的日志,发现我重装kudu的时候把kudu的master换了节点,但是因为impala没有重装,但是也没有同步新装的k原创 2020-05-27 15:58:48 · 1574 阅读 · 0 评论 -
Cloudera集群意外断电之后KUDU组件tserver无法重启的问题
Cloudera集群意外断电之后KUDU组件tserver无法重启的问题故障原因分析:故障原因分析:测试用的5节点CDH集群因为机房意外断电,很多组件重启失败,手动将agent一个个kill掉重启之后,发现有一个节点上的kudu组件tserver实例无法启动,查看角色日志信息发现报了metadata的偏移量和data文件实际偏移量不匹配的错误。查阅kudu的官方文档初步确定是由于突然断电导致磁...原创 2019-02-21 16:13:37 · 1160 阅读 · 0 评论 -
impala建Kudu表语句中的PARTITION BY的作用
impala建Kudu表语句中的PARTITION BY的作用在impala中创建kudu表的时候有一个PARTITION BY的参数选项,这个参数是啥意思呢?在impala中创建kudu表的时候有一个PARTITION BY的参数选项,这个参数是啥意思呢?各位苦逼大数据DBA在impala shell中建kudu表的时候一定用过这个PARTITION BY参数,像我这样不学无术的兄弟肯定是一...原创 2019-02-21 16:33:23 · 3601 阅读 · 0 评论 -
在impala中建立外部表关联并管理kudu API生成的表
在impala中建立外部表关联并管理kudu API生成的表话不多说,直接上代码:话不多说,直接上代码: create EXTERNAL TABLE impala_kudu_test STORED AS KUDU TBLPROPERTIES ('kudu.table_name' = 'kudu_table')上面的代码中,impala_kudu_t...原创 2019-02-24 13:59:00 · 1628 阅读 · 0 评论