ubuntu18.04安装Hadoop

最新推荐文章于 2022-09-17 01:38:56 发布
最新推荐文章于 2022-09-17 01:38:56 发布
阅读量76 收藏
点赞数
分类专栏： Hadoop
原文链接：https://blog.csdn.net/weixin_42001089/article/details/81865101?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task
版权

https://blog.csdn.net/weixin_42001089/article/details/81865101?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task
补充：
![
出现错误：
在这里插入图片描述
解决：在这里插入图片描述
更适合我的虚拟机的方法：

https://www.cnblogs.com/sench/p/8542175.html

娘口三三~
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Ubuntu18.04安装hadoop
小妖666个人笔记
10-03 1万+
一、虚拟机中Linux的安装 hadoop-0.20.2.tar.gz只能在Linux中安装。 Hadoop相当于一个服务器，类似于Apache服务器的角色。我们可以在Linux上运行hadoop0.20.2。 二、Java的安装 Hadoop是基于Java开发的，，在Linux配置好Java环境。 https://blog.csdn.net/weixin_38883338/articl...
ubuntu18.04搭建完全分布式hadoop
04-02
使用vmware复制了三个ubuntu18.04虚拟机系统，模拟多台服务器，安装配置完全分布式hadoop。 想修改成免费的，不会修改。有问题可以留言一起交流
Ubuntu18安装Hadoop
weixin_43709601的博客
04-01 974
Ubuntu18 安装Hadoop (1)JAVA jdk8.0环境安装与配置； (2)SSH环境安装与配置； (3)Hadoop伪分布式模式安装与配置。 创建Hadoop用户并为其设置密码： 为Hadoop用户增加sudo权限：使用命令“sudo adduser hadoop sudo” 然后注销当前用户回到登录界面，登录hadoop。 使用sudo apt update更新软件仓库。 安装S...
ubuntu18.04搭建hadoop步骤
11-05
ubuntu18.04或者centos7搭建hadoop集群，可以参考博客https://blog.csdn.net/u013305783/article/details/83744122
Ubuntu18保姆级教程及其jdk和hadoop安装含资源
qq_47168235的博客
09-17 1510
从安装Ubuntu，到jdk环境搭建，最终hadoop单机配置与伪分布配置，手把手婴儿级教学，图文解说，内涵资源直接提取即可，以及虚拟机搭建，Ubuntu与本机交互，Ubuntu网络连接，XShell连接虚拟机，scp上传包等问题均有记载。
Ubuntu18.04LTS搭建CDH6.3.0环境-版本一 推荐
ITMAN009的博客
07-28 927
Ubuntu 使用apt = Centos 使用yum 安装前的准备 1.相关离线资源(也是在线安装时的自动下载资源地方)参考地址 https://archive.cloudera.com/cm6/6.3.0/ubuntu1804/apt/ https://archive.cloudera.com/cdh6/6.3.2/parcels/ 2.ubuntu中apt-get安装与默认路径 一、apt-get 安装（ubuntu使用apt如果是centos则使用yum安装方式） deb是debi
Linux Ubuntu 18.04安装JDK、Hadoop、Hbase以及图形界面1
08-03
在本文中，我们将详细探讨如何在Linux Ubuntu 18.04系统上安装JDK、Hadoop、Hbase以及配置图形界面。首先，确保你具备了必要的准备工作，包括Ubuntu 18.04系统、JDK 8、Hadoop 2.7.1和HBase 1.6.0的安装文件，以及...
Linux Ubuntu 18.04安装JDK、Hadoop、Hbase以及图形界面（护眼版）1
08-03
在Linux Ubuntu 18.04环境下，安装JDK、Hadoop、Hbase以及图形界面是构建大数据处理环境的重要步骤。以下是详细的操作流程： 1. **获取服务器**： 首先，你需要获取一台运行Ubuntu 18.04的服务器，例如通过阿里云...
ubuntu环境下hadoop环境搭建（伪分布模式）
11-14
- 解压缩Hadoop：同样使用`sudo tar xzvf hadoop0.20.2.tar.gz`解压Hadoop，解压后Hadoop安装完成。 - 安装SSH：使用`sudo apt-get install ssh`来安装SSH服务，用于节点间通信。 - 安装rsync：通过`sudo apt-get...
Ubuntu18.04搭建Hadoop环境
qq_42679379的博客
08-01 1608
一、安装JDK 更新源 sudo apt-get update sudo apt install openjdk-8-jdk-headless 请一定注意JDK不要安装最新版此前因为安装版本太高走了很多弯路 查看JDK版本 java -version 查看JDK安装目录 update-alternatives --display java 二、设在SSH免密码登录 安装SSH...
ubuntu 18.04LTS hadoop 3.0.3安装
baymax_007的博客
07-20 2539
ubuntu18.04 LTS安装后，更新hadoop系列安装。这次针对hadoop，系统和安装环境如下:ubuntu18.04 LTS和hadoop3.0.3、jdk1.8.0_172。 一、安装ssh sudo apt-get install ssh openssh-server 二、使用ssh无密登陆 ssh-keygen -t rsa cd ~/.ssh cat id...
Ubuntu18.04配置Hadoop
lllllyt的博客
06-13 4662
Ubuntu18.04配置Hadoop 1. 实验环境 64位ubuntu18.04虚拟机（master，slave1，slave2） 需要的软件： hadoop3.1.0 jdk-8u171-linux-x64 2. 实验步骤 master、slave1、slave2都需要配置 修改各个节点的主机名，使其与该节点的角色名一致，如 master,slave1,slav...
ubuntu18.04+大数据hadoop平台完全分布式集群搭建
climbxu的码农日志
04-06 5408
hadoop完全分布式集群搭建 集群信息 jdk: 1.8 linux: ubuntu18.04 server hadoop: hadoop2.9.2 虚拟机: VMware
Ubuntu18.04 Hadoop 搭建
m0_52789121的博客
04-27 375
Ubuntu18.04 Hadoop 搭建 一、操作环境 1.1 操作系统：Windows 10 64位 1.2 虚拟机：VMware Workstation Pro 14.1.2 二、安装包 2.1 Ubuntu Server 镜像：ubuntu-18.04-live-server-amd64.iso 2.2 Java：jdk-8u181-linux-x64.tar.gz 2.2 Hadoop: hadoop-3.1.1.tar.gz 三、创建虚拟机 创建master 创建slave1 创建slave2
Ubuntu18.04安装Hadoop环境 Docker+Cloudera CDH5.13.0
斌的博客
05-18 2212
Ubuntu18.04利用Docker镜像cloudera-quickstart安装CDH5下载docker镜像cloudera-quickstartdocker导入下载好镜像Cloudera 的 docker 版本的启动命令CDH60天试用版本Cloudera manager的webUIcloudera官方的训练题目 下载docker镜像cloudera-quickstart cloudera-...
hadoop下载与配置 - Ubuntu18.04
戴挽舟的博客
10-20 532
这里废话不多说，由于hadoop对于新手第一次接触还是会遇到很多坑点的，所以在这里记录一下hadoop使用过程中的各种问题，记录交流。 hadoop的下载 hadoop项目开源，直接从apache官网下载： http://hadoop.apache.org/ 点击下载能够看到其提供的版本，要区分2.x版本与3.x版本。 博主使用的是2.10.1的版本，但新手不建议使用，很多教程里推荐的更多是2.7.x的版本，官网也有保存着历史版本文件：历史版本下载 注意下载二进制版本binary，source是源码版本
hadoop实战(二)ubuntu18.04搭建hadoop集群
钟晚语夕的专栏
11-05 1359
一、 安装JDK    官网下载jdk压缩包并解压， vim /etc/proflie 或者修改vi ~/.bashrc 加上如下： export JAVA_HOME=/home/hadoop/jdk1.8.0_161 export HADOOP_HOME=/home/hadoop/hadoop-2.9.1 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_H...
ubuntu18.04安装hadoop
最新发布
06-28
### 回答1： 以下是在Ubuntu 18.04上安装Hadoop的步骤： 1. 安装Java Hadoop需要Java环境，因此需要先安装Java。可以使用以下命令安装OpenJDK： ``` sudo apt-get update sudo apt-get install default-jdk ``` 2. 下载和解压缩Hadoop 可以从Hadoop官网下载最新版本的Hadoop。下载完成后，使用以下命令解压缩： ``` tar -xzvf hadoop-x.x.x.tar.gz ``` 3. 配置Hadoop环境变量 将以下内容添加到`~/.bashrc`文件中： ``` export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 然后运行以下命令使环境变量生效： ``` source ~/.bashrc ``` 4. 配置Hadoop 进入Hadoop的安装目录，编辑`etc/hadoop/hadoop-env.sh`文件，将以下内容添加到文件末尾： ``` export JAVA_HOME=/usr/lib/jvm/default-java ``` 然后进入`etc/hadoop/core-site.xml`文件，添加以下内容： ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:900</value> </property> </configuration> ``` 接着进入`etc/hadoop/hdfs-site.xml`文件，添加以下内容： ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/path/to/hadoop/data/dfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/path/to/hadoop/data/dfs/datanode</value> </property> </configuration> ``` 5. 启动Hadoop 使用以下命令启动Hadoop： ``` start-all.sh ``` 6. 验证Hadoop 使用以下命令验证Hadoop是否正常运行： ``` jps ``` 如果输出类似以下内容，则表示Hadoop已经成功启动： ``` NameNode SecondaryNameNode DataNode ResourceManager NodeManager ``` 以上就是在Ubuntu 18.04上安装Hadoop的步骤。 ### 回答2： 在 Ubuntu 18.04 上安装 Hadoop 主要需要以下步骤： 1. 更新 Ubuntu 系统 $ sudo apt-get update 2. 安装 OpenJDK 8 $ sudo apt-get install openjdk-8-jdk 3. 配置 SSH Hadoop 集群之间的通信需要使用 SSH，因此需要安装 SSH 并配置无密码登录。安装和配置过程如下： $ sudo apt-get install ssh $ ssh-keygen -t rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys 4. 下载 Hadoop 从 Apache Hadoop 下载页面下载最新版本的 Hadoop 压缩包： $ wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz 5. 解压 Hadoop 解压下载的 Hadoop 压缩包 $ tar -zxvf hadoop-3.2.1.tar.gz 6. 配置 Hadoop Hadoop 的配置文件位于解压后的 hadoop-3.2.1/etc/hadoop 目录下。需要根据实际情况进行配置，配置文件主要包括 core-site.xml、hdfs-site.xml、yarn-site.xml 和 mapred-site.xml。进行配置时需要注意以下几点： - 需要设置 Hadoop 的安装路径，例如：/usr/local/hadoop - 需要设置 Hadoop 的工作目录，例如：/usr/local/hadoop_data - 需要配置 HDFS 的 NameNode 和 DataNode 的地址，并设置数据存储目录 - 需要配置 YARN 的 ResourceManager 和 NodeManager 的地址 - 需要配置 MapReduce 执行任务时的 JobTracker 和 TaskTracker 的地址 7. 格式化 HDFS 文件系统 在第一次启动 HDFS 之前需要进行格式化操作： $ bin/hdfs namenode -format 8. 启动 Hadoop 启动 Hadoop 时需要先启动 HDFS 和 YARN： $ sbin/start-dfs.sh $ sbin/start-yarn.sh 9. 验证 Hadoop 启动 Hadoop 后可以使用以下命令验证 Hadoop 是否正常运行： $ jps 查看输出中是否包含以下进程： - NameNode - SecondaryNameNode - DataNode - ResourceManager - NodeManager 10. 停止 Hadoop 使用以下命令停止 Hadoop： $ sbin/stop-dfs.sh $ sbin/stop-yarn.sh 以上就是在 Ubuntu 18.04 上安装 Hadoop 的详细步骤。需要注意的是，安装 Hadoop 的过程比较繁琐，需要仔细阅读和理解配置文件并进行相关配置。同时，如果要使用 Hadoop 进行大数据处理，还需要对其相关的生态系统和编程模型进行深入学习和掌握。 ### 回答3： 1. 下载并安装Java 首先需要确认Java已经安装在系统中，如果没有则需要下载Java并进行安装。可以在官方网站 https://www.java.com/下载Java安装包。 下载完成后，打开终端命令行窗口，通过以下命令进行安装： sudo apt-get update sudo apt-get install openjdk-8-jdk 2. 下载并解压缩Hadoop 在官网 https://hadoop.apache.org/ 下载所需版本的Hadoop文件，下载完成后解压缩到指定目录下。可以使用以下命令： tar -xzvf hadoop-2.x.x.tar.gz -C /usr/local/ cd /usr/local sudo mv hadoop-2.x.x hadoop 3. 配置Hadoop环境变量 打开终端命令行窗口，使用以下命令编辑Hadoop环境变量文件： sudo vim /etc/profile.d/hadoop.sh 在打开的文件中输入以下内容： export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 保存并关闭文件后，执行以下命令让Hadoop环境变量生效： source /etc/profile.d/hadoop.sh 4. 配置Hadoop 在Hadoop目录下，找到并打开以下文件： cd /usr/local/hadoop/etc/hadoop/ sudo vim hadoop-env.sh 将其中的JAVA_HOME设置成之前安装的Java路径，例如： export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 打开core-site.xml文件并添加以下内容： <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> 打开hdfs-site.xml文件并添加以下内容： <property> <name>dfs.replication</name> <value>1</value> </property> 5. 启动Hadoop服务 在终端命令行窗口执行以下命令以启动Hadoop服务： sbin/start-dfs.sh sbin/start-yarn.sh 启动成功后，在浏览器中访问以下网址可以查看Hadoop状态： http://localhost:50070 以上就是Ubuntu18.04中安装Hadoop的基本步骤。在实际操作中可能会遇到各种问题，需要根据具体情况进行调整和解决。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值