搭建Hadoop集群中遇到的坑

最新推荐文章于 2021-08-19 09:49:27 发布
VIP文章 最新推荐文章于 2021-08-19 09:49:27 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： BigData 文章标签： hadoop hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mdifferent/article/details/44854393
版权

工作需要搭建个Hadoop集群，找了几台机器，配置如下：

IP 角色
10.128.84.20 ResourceManager
10.128.84.21 NameNode &
SecondaryNameNode
10.128.84.22 DataNode & NodeManager
10.128.84.24 DataNode & NodeManager
10.128.84.25 DataNode & NodeManager
10.128.84.27 DataNode & NodeManager

Hadoop Core篇

然后网上找了一下教程，参考了这篇博客hadoop 2.6全分布安装。

其中有几点需要注意：

测试dfs的时候是在NameNode所在的节点运行dfs-start.sh，因为我的环境是ResourceManager和NameNode节点分开的，我开始没注意这点，直接在20上跑，结果每次NameNode都起在20上，但是Secondary起在21上，然后2

最低0.47元/天 解锁文章
mdifferent
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境
01-10
Linux Info: Ubuntu 16.10 x64 Docker 本身就是基于 Linux 的，所以首先以我的一台服务器做实验。...当遇到输入是否继续时，输入「Y／y」继续。 安装完成 输入「docker」测试是否安装成功。 拉取镜像 镜像
构建hadoop集群时遇到的问题
a493862864的博客
10-21 190
在构建hadoop集群时，出现过主节点中的namenode或datanode启动不成功的问题。在日志文件中往往会显示namenode和datanode中clusterID不相同的问题，这个问题往往都是因为我们格式化namenode的结果，而datanode不会被格式化。 解决方案一: 将namenode和datanode中的clusterID修改成一样的（貌似我用这种方法不起作用） ...
mkdir: Cannot create directory /file. Name node is in safe mode.
weixin_30555125的博客
03-09 850
刚刚在hadoop想创建一个目录的时候，发现报错了 具体信息如下： [hadoop@mini1 hadoop-2.6.4]$ hadoop fs -mkdir /file mkdir: Cannot create directory /file. Name node is in safe mode. 从错误信息可以看到hadoop当前的nameno...
搭建Hadoop集群的过程中的坑
NathanAndy的专栏
01-09 2663
这是在搭建Hadoop集群过程中碰到的一些坑及总结
超详细Hadoop HA高可用集群搭建及常见问题处理
热门推荐
香宝的私房小厨
06-19 3万+
最近研究了下公司的hadoop集群并模仿搭建了一个在本地测试使用的hadoop集群。本文介绍下详细的搭建过程以及各种常见问题的处理解决。 1 , 前期准备 1.0 , 准备Linux环境。 安装vmware linux虚拟机，因为Centos 7 和Centos 6版本部分命令差别还挺多了，所以我本次用的Centos 6版本，用什么你随意，高兴就...
基于cloudera搭建hadoop集群
11-27
11. 设置hadoop存储目录 11 12. 配置cm源文件 11 五. 安装 12 1. 安装cm 12 2. 安装cdh 22 六. 卸载 33 七. 参数调整 33 1． Mapreduce 33 2． Hdfs 34 3． Hbase 34 4． hive 35 5． Oozie 35 八. 常用命令 37 1. ...
Ubuntu20.04搭建hadoop2.10.0集群.md
09-14
关于hadoop集群的搭建，详细讲述了如何搭建集群，配置文件以及如何启动，还有可能遇到的问题以及解决方案
hadoop2.2+spark集群搭建手记之hadoop集群遇到的各种问题
05-20
hadoop2.2集群搭建遇到的各种问题。
CentOS搭建hadoop伪分布式时遇到的错误.doc
06-09
1.启动集群时出错： mkdir: cannot create directory ‘/home/user/bigdata/hadoop/logs’ : Permission denied 2.查看log日志文件 Cannot create directory /root/bigdata/hadoop/dfs/name/current
搭建hadoop完全分布式集群时踩过的坑
ddsszzy的专栏
07-30 856
一、使用yarn-start命令启动yarn时没有提示，当yarn-stop关闭时，提示： stopping yarn daemons no resourcemanager to stop bigdata-senior04.localdomain: no nodemanager to stop bigdata-senior02.localdomain: no nodemanager to ...
[一起学Hive]之二十-自定义HiveServer2的用户安全认证
tony的专栏
05-06 5033
HiveServer2提供了JDBC链接操作Hive的功能，非常实用，但如果在使用HiveServer2时候，不注意安全控制，将非常危险，因为任何人都可以作为超级用户来操作Hive及HDFS数据。 比如：在配置HiveServer2的时候，hive.server2.authentication=NONE，表示没有用户认证。 使用beeline，模拟成超级用户hadoop，成功连接到
搭建hadoop集群（内置资源和踩坑记录）
zhangfengaiCQ的博客
12-07 589
看着视频还花了我10个小时，从搭建虚拟机开始到集群搭建完，踩了很多坑，来记录一下。 环境：我是在vmware上搭建的虚拟机，虚拟机的版本是：CentOS-6.8-x86_64-bin-DVD1（资源：链接: https://pan.baidu.com/s/1gby4QqbU1z5bLc403FPf-w 提取码: g6t9 ）； jdk版本：1.8.0_191（需要的给我留言） maven版本...
Hadoop开发过程中所遇到的那些坑
什么最重要？算法！！
12-25 1万+
核心内容： 1、Hadoop开发过程中常见问题即解决方案 在Hadoop开发的过程中，我们总是遇到各种各样的问题，今天就整理总结一下： 万能的解决步骤：6个检查+查看具体日志 在Hadoop开发的过程中如果遇到各种异常，首先使用jps命令查看进程的启动是否正常，然后在去查看相关的日志文件，但是在查看相关日志之前，你可以先检查一下面几点： 1、防火墙原因：检查各个节点的防火墙是否关闭成
关于HDFS创建文件夹失败
qq_42130990的博客
04-26 4680
关于HDFS创建文件夹失败hadoop fs -mkdir /wc报错查看命令手册 hadoop fs -mkdir /wc报错 进入虚拟机后首先输入命令：start-dfs.sh 开启Namenode和DataNode（可以用jps命令查看是否开启成功如图：） 正常情况下命令：hdoop fs -mkdir /wc(当前路径下创建wc文件夹）回车执行即可创建。 我现在报了一个错误：mkdir :...
Hadoop 踩坑小记
寒暄的博客
08-19 294
org.apache.hadoop.hdfs.qjournal.protocol.JournalNotFormattedException: Journal Storage Directory XXX not formatted 1.关停集群 2.启动zk zkServer.sh start 3.启动journalnode hdfs --daemon start 启动journalnode 4.初始化journalnode hdfs namenode -initializeSharedEdits org.
大数据集群遇到的问题（Hadoop、Spark、Hive、kafka、Hbase、Phoenix）
sunyang098的博客
11-15 1万+
大数据平台中遇到的实际问题，整理了一下，使用CDH5.8版本，包括Hadoop、Spark、Hive、kafka、Hbase、Phoenix、Impala、Sqoop、CDH等问题，初步整理下最近遇到的问题，不定期更新。 启动nodemanager失败 2016-09-07 14:28:46,434 FATAL org.apache.hadoop.yarn.server.nodemanager
【记录】Hadoop 安装遇到的坑
初级菜鸟
04-30 301
首先要多看看官网的文档http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 一. ssh问题，ssh localhost出现Permission denied问题，这个帖子解决了问题https://blog.csdn.net/hanhuili/article/detail...
创建普通用户登录并使用Hadoop集群遇到的若干问题
u012237396的专栏
08-31 8706
创建普通用户登录并使用Hadoop集群遇到的若干问题在Hadoop与Spark集群（包括Hive、Hbase）搭建好以后，需要创建一批普通用户供其他人使用，在创建普通用户与普通用户登录后运行某个模块（如Hive），以及在Hadoop集群上执行命令时遇到若干问题，在这里予以说明，便于自己记忆，也希望对遇到同样问题的朋友有所帮助。说明：在安装好Centos系统后，用root创建一般用户hadoop，在h
虚拟机搭建hadoop集群
最新发布
07-28
虚拟机搭建 Hadoop 集群可以通过使用虚拟化软件如 VMware 或 VirtualBox 来实现。以下是一个简单的步骤： 1. 首先，下载并安装虚拟化软件，如 VMware 或 VirtualBox。 2. 下载 Hadoop 的稳定版本，并解压缩到一个目录中。 3. 创建一个虚拟机，并为每个节点分配足够的资源（如 CPU、内存和存储）。 4. 安装操作系统，推荐使用 Linux 发行版，如 Ubuntu 或 CentOS。确保在每个节点上都安装了相同的操作系统版本。 5. 配置网络设置，确保虚拟机之间可以相互通信。可以选择使用 NAT、桥接模式或者创建一个内部网络。 6. 在每个节点上安装 Java 运行环境，Hadoop 是基于 Java 开发的。 7. 配置 Hadoop 环境变量，将 Hadoop 的 bin 目录添加到 PATH 环境变量中。 8. 编辑 Hadoop 的配置文件，主要包括 core-site.xml、hdfs-site.xml 和 mapred-site.xml。配置文件中需要指定各个节点的 IP 地址和端口号。 9. 启动 Hadoop 的各个组件，包括 NameNode、DataNode、ResourceManager、NodeManager 和 JobHistoryServer。 10. 在浏览器中访问 Hadoop 的管理界面，确认集群是否正常运行。 以上是一个简单的搭建 Hadoop 集群的步骤，实际操作中可能还需要进行一些额外的配置和调整。请注意，这只是一个基础的搭建过程，具体的步骤可能会因个人环境和需求而有所不同。如果遇到问题，可以参考 Hadoop 的官方文档或者在相关的社区寻求帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值