半斤米粉闯天下的博客

添加分区 alter table user_bhv add if not exists partition (month="2020-03");删除分区 alter table user_bhv drop partition (month='2020-03');修复分区 msck repair table user_bhv;查看所有分区 show partitions user_bhv;查...

在启动hbase shell时出现了这样的警告：2020-03-02 18:46:49,380 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable其实这个警告并不影响执行命令...

接上篇，hdfs集群启动后仅仅是一个分布式文件系统而已，并不具备计算的能力，因此引出yarn，记录一下yarn HA的搭建过程。首先需要注意一点，Yarn与HDFS属于两个不同的集群，一个负责文件存储，一个负责作业调度，二者之间没有必然关系，也不一定说Yarn的某些节点必须必须要放在datanaode上。通常会把nodemanager和datanode放在一起是因为要“计算向数据移动”，尽可能...

分类应用端口namenoderpc-address8020namenodehttp-address9870namenodehttps-address9871datanodeaddress9866datanodehttp-address9864datanodehttps-address9865

先说一下环境，flume 1.9.0，hadoop 3.2.1，兼容没有问题，官方文档没什么好说的，足够详细，每一项后面都附带有例子，好评。但是在配置sink to hdfs的时候足足趟了不少雷，记录下来希望可以帮到更多的人。错误最常见的还是java.lang.NoClassDefFoundError异常，出现这个提示100%是因为flume缺少相应的组件包，下面分别说一下缺少的内容，找到对应...

规划共三台机器，目标是搭建一套配置了HA的双副本hadoop集群，关于zkfc，journalnode的详细原理不再赘述，集群详细规划如下：namenodedatanodejournalnodeZKFCmaster***slave1****slave1***出于简单方便，我个人并没有使用zookeeper集群，而是在docke...