![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop集群整理
文章平均质量分 97
db_cy_2062
心比天高,性情凉薄。
展开
-
hadoop集群HA高可用搭建
在整个项目中我觉得最难的应该是HA,当然这是对于第一次配置HA高可用的我来说,因为我根据不同的博客配置了几次,要么就是两个Standby 状态的NameNode,要么就是一个Active状态的NameNode,一个Standby 状态的NameNode。但是当你kill 掉Active节点的NameNode,你就会发现,Standby 状态的NameNode没有成功切换为Active。我在配置了几次后,通过查看日志文件,发现拒绝连接,经过仔细阅读。问题出现在无法进行 fence。原创 2023-06-18 22:21:15 · 1601 阅读 · 1 评论 -
Hadoop搭建新能源汽车大数据平台
前言为了实现这个平台,我们需要搭建一个Hadoop1集群。同时,下面是集群要求1、集群至少要有三个节点;2、由于条件有限,所以要求集群至少可以存储100G的数据;3、将HDFS副本数设置为3;4、NameNode要高可用,即运行两个NameNode进程,同一时刻只有一个对外提供服务的NameNode,如果活跃的NameNode进程所在机器宕机了,整个集群还是可以正常运行的;5、可以正常提交MapReduce运行;6、Hbase要集群部署,可正常建表、插入数据和查询数据等;原创 2023-06-16 22:14:36 · 557 阅读 · 1 评论