Linux系统CentOS 7 搭建Hadoop伪分布式环境遇到问题以及解决方法

最新推荐文章于 2022-03-18 10:08:01 发布
VIP文章 最新推荐文章于 2022-03-18 10:08:01 发布
阅读量852 收藏 3
点赞数 1
分类专栏： Linux Hadoop 文章标签： 伪分布式开发环境 50070访问不了 -bash start-dfs.sh
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oyudabajiao/article/details/79807297
版权

今天实打实的体验来一把CentOS 7搭建Hadoop伪分布式环境，也是入了很多坑，我参照Centos7.0配置Hadoop2.6.3单机/伪分布式环境这篇文章操作的，文章写得好，在此表示感谢！

下面就在搭建Hadoop伪分布式环境中的坑做个记录，也希望可以帮助他人一起进步。

1、bin、sbin目录不要搞错了

在Linux根目录下面也有这两目录，配置完成后，执行 NameNode 的格式化时，要注意别进错目录

./bin/hdfs namenode -format 注意是 hadoop-2.8.0（我电脑配置目录）目录下的

最低0.47元/天 解锁文章
雨打芭蕉
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
云服务器上搭建大数据伪分布式环境
07-16
本文档是笔者基于阿里云服务器CentOS 7.2搭建的Hadoop伪分布式环境，其中用到的一些工具，如：远程终端Xshell 6、文件传输软件Xftp 6。此文档亦可在其他Linux操作系统中运行，可能其中命令稍有区别，请加以注意。
centos 7无法打开虚拟机
最新发布
Liangqingooo的博客
09-15 124
大家帮忙看看到底是什么问题呀，centos 7虚拟机一直无法打开，换行几乎是重复同样的东西，不知道该怎么办呀呜呜呜。
centos下搭建单机和伪分布式hadoop环境-（4）搭建过程中的问题汇总
Gavin's Blog
05-07 613
下面我把在搭建hadoop环境的过程中遇到的问题和大家分享下，可能大家在实际的搭建过程中也会遇到 1.在hadoop的sbin目录下执行start-all.sh命令报错，终端显示：该命令找不到 解决办法：终端输入 ./start-all.sh来启动hadoop（由于.sh文件是脚本文件，故需要在前面加./） 2.在hadoop的sbin目录下执行 ./start-all.sh命令也报
CentOS安装HBase(伪分布式)
梦幻安然
10-31 3370
一、安装jdk 1、通过共享文件夹或者winSCP将jdk安装包上传到Linux的指定目录/opt下 2、解压 tar包 tar -xzvf jdk-linux-x64.tar.gz 3、配置环境变量 vi /etc/profile 在/etc/profile 末尾添加如下内容 4、使新的配置文件生效 source /etc/profile 5、执行命令“java -version”，显示内容如下，表示安装成功 二、安装ssh 1、通过“rpm -qa | grep ssh”命令查看是否已安装，如果返
centos7.x搭建hadoop环境的踩坑经历
雨落★蝶舞的博客
03-18 2431
centos7.x搭建hadoop环境的踩坑经历
CentOS搭建Hadoop分布式集群详细步骤和常见问题解决
csdn问鼎
11-27 1183
花了好长时间终于把集群搭建起来了，写出来给大家分享下，让大家少走点弯路。 首先我们来看看成功后的效果，三个结点成功运行wordcount这个程序结果，运行出结果 计算出来的结果图 3.实验准备 虚拟机里3台拥有CentOS6.4操作系统的计算机 hadoop-2.5.2.tar.gz安装包 jdk-8u111-linux-x64.tar.gz安装包 三台电脑要有相同的安装目录，放
centos7 安装hadoop 集群遇到的问题
weixin_34356138的博客
07-02 127
集群安装之后,hdfs 不能上传文件，也提示rute等错误，其实是防火墙问题，关闭防火墙即可． CentOS 7.0默认使用的是firewall作为防火墙，这里改为iptables防火墙。firewall：systemctl start firewalld.service#启动firewallsystemctl stop firewalld.service#停止firewallsystemctl...
hadoop在centos7上搭建过程中遇到的问题总结
猴戏浅滩的博客
11-22 376
hadoop在centos7上搭建历程，分析解决遇到的问题，最终走向成功。不着急可以读完，可以跳过我走的坑，还能对你遇到的问题有所启发。如发现有问题，请指正，大家相互学习。 自己根据视频第一次搭建hadoop 2.2.0时，先安装配置好对应环境变量，然后执行脚本start-all.sh启动或者单独执行start-dfs.sh和start-yarn.sh，jps查看进程，一开始出现少了data...
centos7上搭建hadoop集群
weixin_44285715的博客
04-17 276
参考： https://blog.csdn.net/qazwsxpcm/article/details/78937820 https://blog.csdn.net/cafebar123/article/details/73500014 Hadoop datanode正常启动，但是livenodes为0 问题描述： 所有数据节点都已经正常启动了（通过jps查看子节点、或8088页面显示节...
Hadoop集群搭建错误总结 环境：Centos7
weixin_42871236的博客
08-10 249
1.配置好ip地址以后，端口ens33不显示ip地 解决方法：将BOOTPROTO=none改为BOOTPROTO=dchp 2.network无法重启，提示：Job for network service failed because the control process exited with error code 原因：和NetworkManager服务有冲突 解决方法： 1)关闭N...
Centos7 + Hadoop3 搭建伪分布式集群
01-07
操作系统：Centos7 Java：jdk-8u162-linux-x64 hadoop：hadoop-3.2.1 终端连接软件：SecureCRT 关于Centos7的网络配置可以看我的另一篇博客：Centos7的网络配置 一、利用SecureCRT上传文件到root目录 二、关闭...
基于CentOS的Hadoop分布式环境的搭建开发
01-11
如果想要搭建Hadoop环境，网上有很多详细的步骤和命令代码，我不想再重复记录。 其次，我要说的是我也是新手，对于Hadoop也不是很熟悉。但是就是想实际搭建好环境，看看他的庐山真面目，还好，还好，最好看到了。当...
centos6.8下hadoop3.1.1完全分布式安装指南(推荐)
01-10
前述： 这篇文档是建立在三台虚拟机相互ping通，防火墙关闭，...2.未安装，解压java安装包： tar -zxvf jdk-8u181-linux-x64.tar.gz （每个人安装包可能不一样，自己参考） 3.给jdk重命名，并查看当前位置：mv jdk1.
CentOS Linux中搭建Hadoop和Spark集群详解.docx
06-06
CentOS Linux中搭建Hadoop和Spark集群详解,Hadoop是一个开源的可运行于大规模集群上的分布式文件系统和运行处理基础框架。其擅长于在廉价机器搭建的集群上进行海量数据(结构化与非结构化)的存储与离线处理。Hadoop...
Linux系统CentOS 7修改httpd服务Apache网站根目录/var/www/html
热门推荐
雨打芭蕉的博客
04-01 4万+
本文基于阿里云服务器CentOS7.4 讲述，如果文中有错误或者不足，敬请在评论区指出昨天我写了一篇博客讲述CentOS 7安装部署httpd服务，在安装部署好httpd服务后，访问公网IP可以正常访问，默认Apache网站根目录/var/www/html，如果我们要修改为自定义的目录路径怎么办呢？1、执行vim /etc/httpd/conf/httpd.conf指令键盘输入E，进人可编辑模式2...
Linux系统CentOS 7配置httpd服务
雨打芭蕉的博客
03-31 1万+
在阿里云上购买了一台云服务器（CentOS7系统），现在我对配置httpd服务进行描述，如有疏漏敬请指出1、登录阿里云服务器2、安装httpd服务执行指令：yum -y install httpd3、启动apache服务器 systemctl start httpd     关闭apache服务器 systemctl stop httpd4、设置开机自动启动 systemctl enable ht...
Linux系统 CentOS 7 Permission 0755 for /etc/ssh/ssh_host_rsa_key"问题解决办法
雨打芭蕉的博客
04-02 4724
今天用公司电脑想通过Xshell登录阿里云（CentOS 7.4）服务器，一直连接不上，这就怪了，昨天在家里电脑都可以登上，一时想不起哪里出问题了，在网上查阅了很多资料，运行systemctl status sshd 结果如下，没有明显的异常用sshd -t指令检测一下原来我昨天用家里电脑在做web站点用户授权时，误把整个/var目录授权为apache.apache，而sshd服务成功起动需要/v...
Linux系统CentOS 7下载安装Hadoop以及初步配置
雨打芭蕉的博客
03-26 2111
      基于当前大数据火爆的就业前景，开始琢磨Hadoop相关的知识，本文用于记录学习Hadoop开发环境配置中的步骤，帮助自己以及有需要的其他人。本文的采用的是传统的解压包方式和Linux标准命令方式，本文记录的只是Hadoop相关安装配置（不包含JDK），配置的基本环境是Linux版本为CentOS 7，Hadoop版本为Hadoop2.8.0，Linux编译器Xshell5。1、下载Ha...
Linux系统CentOS 7中修改修改系统时区方法
雨打芭蕉的博客
05-30 1357
linux在安装的时候如果时区选择错误，可以在系统安装完成之后修改。系统时间运行着也会有偏差，需要对时间进行实时同步，方法如下：1、用date命令查看系统当前时间，发现和北京时间有一定的误差（当前时间为 Wed May 30 10:42:03 CST 2018 ）在系统联网的情况，修改时间最快的方法就是使用ntpdate命令自动同步网络服务器上的时间再用date指令查看时间就和现在当前时区时间一致...
在Linux虚拟机环境下完成Hadoop伪 分布式环境的搭建
06-12
好的，我可以为您提供一些关于在Linux虚拟机环境下完成Hadoop伪分布式环境搭建的指导。 首先，您需要安装一个Linux虚拟机软件，比如VirtualBox或VMware。接着，您需要下载并安装一个Linux操作系统，比如Ubuntu或...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值