大数据王者之路
文章平均质量分 71
技术专家带你解读揭秘大数据的技术内幕,初步写100篇基础。
雷学委
高级技术专家带路,事半功倍!多语言爱好者,目前主业大数据。做过创业项目/技术演讲/系统架构/内部培训。过来学习技术吧!
其他:
上海DevOpsDays技术讲师,发表主题演讲
华为云圆桌特邀嘉宾
展开
-
大数据王者之路 - Ambari 02 架构简介
对了,学委是搞大数据的,别看整体搞那么多极简单系列,NodeJS,小白趣味故事。大数据还是拿捏得住的。让我们继续大数据之旅。 本文继续前篇 Ambari 初步认识 的后续补充。Ambari架构Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent。简单理解server 和 agentAmbari Server 通知 Ambari Agent 安装对应的软件;Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Serv原创 2021-08-03 09:01:05 · 1211 阅读 · 31 评论 -
大数据王者之路 - Ambari 01 简介
大数据组件 - Ambari 01 简介是什么?Ambari是apache下的一个开源项目,致力于让hadoop集群管理更加简单。它开发了丰富的RESTful APIs,以及一套直观易用的WebUI管理界面。它主要是由Cloudera公司参与贡献开发的(可以查看https://ambari.apache.org/team-list.html)。功能它提供了:provision 必要组件供配(安装)的功能一步接一步的安装面板进行组件安装帮助大数据运维工程师管理集群上所有服务的配置,配置是版原创 2021-05-24 23:58:36 · 534 阅读 · 7 评论 -
大数据集群搭建笔记
大数据集群搭建笔记时间同步所有datanode服务器时间跟NameNode时间同步ssh 配置namenode到每台datanode的免密码访问都要配,datanode和datanode之间非必需,可以把namenode的ssh pubkey内容追加到所有datanode的authorized_keys文件。启动服务从NameNode到$HADOOP_HOME目录中调用:sbin/start-all.sh #启动集群,会ssh启动datanode进程sbin/stop-all.sh #关原创 2021-05-22 16:11:51 · 351 阅读 · 6 评论 -
DataNode启动失败问题解决
启动DataNode 提示Missing NameNode addressstart all没有报错,但是发现这NameNode的webUI上面DataNode没有挂上。进入DataNode查看日志发现下面问题。datanode 进程没有起来NodeManager启动过一段时间退出了。错误 java.io.IOException: No services to connect, missing NameNode address.2021-05-15 16:31:40,824 WARN org原创 2021-05-16 11:24:23 · 3731 阅读 · 4 评论 -
Hadoop集群改名导致无法启动DataNode
Hadoop集群更名 导致无法启动D a ta N o de错误描述之前集群能够启动各个节点的。因为最近集群改名了,启动NameNode可以的。启动DataNode没有任何提示。进入hadoop logs目录查找hadoop-root-datanode-bd-cluster1.log文件发现下面的错误。错误关键信息: org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/原创 2021-05-15 23:55:47 · 374 阅读 · 2 评论