Ubuntu18.04 搭建Hadoop完全分布式环境--完结局

最新推荐文章于 2021-02-26 16:14:03 发布
最新推荐文章于 2021-02-26 16:14:03 发布
阅读量393 收藏 1
点赞数
分类专栏： 大数据之路 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BreaK1221/article/details/106725874
版权

chmod -R 777 * 意思就是将当前目录下所有文件都给予777权限

mv 移动+改名

 

问题1  Linux开启hadoop没有开启9000等端口，查看端口开放情况也没有

解决  ：  hdfs namenode-format

开启 DEBUG方式 查找错误原因 $ export HADOOP_ROOT_LOGGER=DEBUG,console

hadoop报错： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

 

这次配置环境 出现了很多意想不到的问题 不过让自己更加熟悉虚拟机

 

参考文章：

https://blog.csdn.net/weixin_43622131/article/details/105823449#t9 

BreaK1221
关注
专栏目录
Ubuntu18.04+Hadoop2.6.5完全分布式集群搭建超详细教程
SiccyHsiang的博客
12-25 1126
@Hadoop完全分布式集群搭建超详细过程（Ubuntu） hadoop2.6.5完全分布式环境搭建超详细（虚拟机系统：ubuntu18.04+jdk1.8.0）
超级无敌详细使用ubuntu搭建hadoop完全分布式集群
weixin_45000490的博客
11-20 4391
本文章介绍如何使用ubuntu搭建hadoop完全分布式集群
ubuntu18.04搭建完全分布式hadoop
04-02
使用vmware复制了三个ubuntu18.04虚拟机系统，模拟多台服务器，安装配置完全分布式hadoop。 想修改成免费的，不会修改。有问题可以留言一起交流
Ubuntu18.04 搭建Hadoop完全分布式环境--挖坑局
BreaK1221的博客
06-10 381
SCP CP sudo mv ./old_name ./new_name 修改文件名 当遇到远程错误的时候 记得看一下虚拟机是否有网络！ 没有网络 sudo service network-manager restart ----记得更新 ssh: connect to host 192.168.0.XXX port 22: Connection refused lost connection 当出现上面错误的时候 兄弟们 直接在目标机器上安装sudo apt-get install op...
Hadoop完全分布式环境搭建（三）——基于Ubuntu16.04安装和配置Java环境
weixin_34198881的博客
01-28 260
【系统环境】 1、宿主机OS：Win10 64位 2、虚拟机软件：VMware WorkStation 12 3、虚拟机OS:Ubuntu16.04 4、三台虚拟机 5、JDK文件：jdk-8u201-linux-x64.tar.gz 6、操作账号：hadoop 【安装操作步骤】 1、上传j...
ubuntu搭建hadoop完全分布式集群
qq_42412817的博客
05-21 480
一、系统+用户 1.Ubuntu16 ①主节点主机名：master 用户名：master ②从节点主机名：slave1、slave2 用户名：slave1、slave2 （主机名在/etc/hostname中修改；ubuntu无法直接修改用户名，修改用户名会有坑！） （如果从节点为主节点的克隆机，则需要更改从节点的mac地址，请谨慎！） 二、工具准备 1.jdk1.7.0_71 2.hadoop-2.6.5 三、安装jdk（以下操作如不做特别说明...
ubuntu 搭建 Hadoop 完全分布式集群
CarveStone的博客
10-24 4359
文章目录Hadoop 相关软件及版本虚拟机参数配置准备工作分布式模式配置错误 Hadoop 相关软件及版本 软件 版本 Linux OS ubuntu-20.04.1 JDK jdk-8u261-linux-x64 VMware 15.5.6 Hadoop hadoop-2.7.7 虚拟机参数配置 master：1.5G ~ 4G 内存、20G 硬盘、NAT、1 ~ 4 核 slave1 ~ slave2：1G 内存、20G 硬盘、NAT、1 核 上面的虚拟机参数配置只是
大数据开发技术课程报告（搭建Hadoop完全分布式集群&&操作集群）
nefu_ljw的博客
04-15 9492
一、 项目简介和实验环境 本项目主要是建立Hadoop完全分布式集群，并进行集群测试和操作。 主要内容：配置hadoop完全分布式集群的前期准备、安装过程、配置文件、启动过程、Shell操作、Java API操作。 （本文中的一些文件可能带有学号后缀，这是课程报告的要求，实际上不必写后缀） Linux发行版：ubuntu-18.04.4-desktop-amd64 JDK版本：jdk1.8.0_144 Hadoop版本：hadoop-2.7.2 二、 虚拟机的各项准备工作 创建三台虚拟机，并完成各项准备
docker从零开始搭建Hadoop完全分布式(一)-Linux基础版安装与集群环境准备
JiajunBernoulli的博客
03-08 916
文章目录前言容器创建容器配置必做apt文件选做权限安全复制容器 前言 一般用docker都是直接下载装有hadoop的镜像，但是这次为了复习一下hadoop的搭建以及linux的使用，决定从零开始搭建一个完全分布式的集群。 容器创建 记得在用VMware的时候，这一步特别麻烦，现在docker两行就搞定了。 首先拉取需要的镜像，我这里以ubuntu:18.04为例子 docker pull ubu...
ubuntu18.04搭建hadoop步骤
11-05
ubuntu18.04或者centos7搭建hadoop集群，可以参考博客https://blog.csdn.net/u013305783/article/details/83744122
Hadoop完全分布式环境搭建
12-09
Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建
ubuntu搭建hadoop
03-25
NULL 博文链接：https://ouyida3.iteye.com/blog/1156589
Ubuntu18.04 + Docker搭建全分布式Spark集群
鱼爻
03-07 1775
文章目录所需软件配置第一个基础环境容器启动第一个容器在容器中安装ssh配置ssh启动容器是自启动配置SSH登录配置JAVA环境安装配置环境变量环境永久生效验证成功配置Hadoop配置Hadoop的环境变量配置hadoop-env.sh文件配置Hadoop文件配置Zookeeper安装SCALA安装SPARK配置SPARK启动集群启动Zookeeper格式化`HDFS`和格式化`ZK`启动HDFS启...
[虚拟机VM][Ubuntu12.04]搭建Hadoop完全分布式环境（二）
Arthur的专栏
03-16 4275
[虚拟机VM][Ubuntu12.04]搭建Hadoop完全分布式环境（一）接上一篇，本篇继续介绍在虚拟机上搭建Hadoop完全分布式集群环境安装和配置Java环境安装JDK：jdk-8u121-linux-x64.tar.gz 链接：http://pan.baidu.com/s/1dFbzM4x 密码：3fbw1、以master为例，下载完，解压，我这里解压到/usr/lib/jvm/jdk1.
Ubuntu18.04 搭建Hadoop完全分布式环境--踩坑局
BreaK1221的博客
06-07 348
安装Ubuntu18.04 暂时无坑 -跟着CSDN教程； 坑一 su root 无法切换root用户 (提示 Authentication failure) 填坑 sudo psswrd 然后当前用户密码 然后输入 root密码 确认 root 密码 然后 重新 就 OK了 我是因为忘记root密码 所以这样 。 坑二 vim 出现 权限不足 ： :wq! :w! 都不好使 怎么样 直接 前面 加 sudo OK 搞定 坑三 配置IP ping不通（有预感） 查看自己虚...
[虚拟机VM][Ubuntu12.04]搭建Hadoop完全分布式环境（三）(终篇)
Arthur的专栏
03-17 4691
[虚拟机VM][Ubuntu12.04]搭建Hadoop完全分布式环境（一） [虚拟机VM][Ubuntu12.04]搭建Hadoop完全分布式环境（二）接前两篇，这是最终篇，前面的准备工作都完成了之后，我们开始安装和部署hadoop安装和配置Hadoophadoop-2.2.0_x64.tar.gz 链接：http://pan.baidu.com/s/1boSGvrp 密码：559ohadoo
Hadoop2.9.1基于ubuntu16.04搭建完全分布式环境
monkey-jie的博客
10-10 1640
在VM上用三台ubuntu搭建Hadoop环境 本人由于学习大数据需要搭建Hadoop环境，由于技术比较菜，所以折腾了一个星期才搭好环境，另外网上的很多教程都比较老，那些Hadoop版本很多都是零版的。所以我想写一篇完整详细的教程来让初学者尽快的搭好环境，进入大数据的学习。 所需环境： VMware15 workstation pro ubuntu16.01 Hadoop2.9.1 JDK1.8 ...
hadoop3.3.0多节点（ubuntu下）完全分布式安装
lskbk的博客
02-26 2168
hadoop3.3.0集群搭建 环境和所需软件说明 三台设备环境为：两台为ubuntu20.04，一台为ubuntu16.04 hadoop版本为hadoop-3.3.0 依赖软件：ssh，java1.8 一、配置节点名和IP： 说明：三台设备一个为namenode（节点名设置为master），两台为datanode（节点名设为node1和node2） sudo gedit /etc/hostname 将三台设备的hostname分别改为 master，node1，node2 sudo gedit /et
ubuntu-18.04.4 Hadoop完全分布式环境安装
独醉的博客
04-28 1325
我一共使用了三台ubuntu虚拟机，网络使用的是Nat模式，因为配置中涉及到IP，所以建议使用Nat模式固定的IP。 ubuntu-18.04.4 Hadoop完全分布式环境安装系统配置IP分配主机名设置配置hosts重启网络检查网络创建hadoop账户SSH免密登录安装Hdoop启动Hadoop用自带的样例测试hadoop集群通过eclipse编写Hadoop代码 系统配置 IP分配 主节点：1...
ubuntu18.04搭建伪分布式Hadoop环境
最新发布
06-07
好的，下面是搭建伪分布式Hadoop环境的步骤： 1. 安装Java Hadoop需要Java环境，所以需要先安装Java。 ``` sudo apt-get update sudo apt-get install default-jdk ``` 2. 安装Hadoop 下载Hadoop安装包并解压：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值