Ubuntu18.04+Hadoop2.6.5完全分布式集群搭建超详细教程

本文提供了一步一步的详细教程,教你如何在Ubuntu18.04系统上配置和搭建Hadoop2.6.5的完全分布式集群。涵盖了虚拟机配置、网络设置、JDK环境配置、SSH免密登录、Hadoop环境变量设定以及集群的启动和可视化界面等内容。
摘要由CSDN通过智能技术生成

@Hadoop完全分布式环境搭建Ubuntu18.04+hadoop2.6.5+jdk1.8.0

Ubuntu18.04+Hadoop2.6.5完全分布式集群搭建超详细教程


(Ubuntu18.04+jdk1.8.0+hadoop2.6.5)
准备好所需要jdk、hadoop文件,我采用的是

文件名称 文件版本号
java jdk-8u60-linux-x64.tar.gz
hadoop hadoop-2.6.5.tar.gz

1.ubuntu虚拟机配置相关(根据自己需要而定)

虚拟机(共计四台,一台主节点master、三台从节点slave)

hostname 用户名 密码 内存 磁盘 ip
master hadoop ****** 2G 50G 192.168.1.100
slave1 hadoop ****** 1G 20G 192.168.1.101
slave2 hadoop ****** 1G 20G 192.168.1.102
slave3 hadoop ****** 1G 20G 192.168.1.103

Ubuntu18.04
启动虚拟机之前开启:打开任务管理器->点击“服务”->点击“打开服务”,找到VMware DHCP Service和VMware NAT Service并打开,许多电脑拥有防护软件导致VMware DHCP Service和VMware NAT Service两个服务自行开机启动失效。

2.虚拟机网络设置

开启虚拟机
1.选中虚拟机master
2.编辑-虚拟网络编辑器
4.更改设置
5.子网ip设置为192.168.1.0
6.选中NAT模式
7.点击NAT设置(网关改为192.168.1.2)
8.连点两次确定

3.windows的网络配置(win11)

1.点击此电脑右键,属性
2.网络和Internet
3.高级网络设置
4.更多网络适配器选项
5.选中VMware Network Adapter VMnet8右键-属性
6.选中Internet协议版本 4(TCP/IPV4)-属性
7.编辑
使用下面的ip地址:
ip地址:192.168.1.1
子网掩码:255.255.255.0
默认网关:192.168.1.2需要和虚拟机一致
首选DNS服务器192.168.1.2
点击【确定】

4.Ubuntu系统网络配置

修改并固定虚拟机ip地址:

sudo vim /etc/network/interfaces
  • 1
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
### 回答1: 以下是Ubuntu 18.04安装Hadoop教程: 1. 安装Java Hadoop需要Java环境,因此需要先安装Java。在终端中输入以下命令: sudo apt-get update sudo apt-get install default-jdk 2. 下载HadoopHadoop官网下载最新版本的Hadoop,下载地址为:https://hadoop.apache.org/releases.html 3. 解压Hadoop 将下载的Hadoop压缩包解压到指定目录,例如解压到/opt/hadoop目录中。在终端中输入以下命令: sudo tar -zxvf hadoop-3.3..tar.gz -C /opt/ 4. 配置Hadoop环境变量 打开/etc/profile文件,添加以下内容: export HADOOP_HOME=/opt/hadoop-3.3. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 保存并退出文件,然后在终端中输入以下命令使环境变量生效: source /etc/profile 5. 配置Hadoop 进入Hadoop的安装目录,编辑etc/hadoop/hadoop-env.sh文件,将JAVA_HOME设置为Java的安装路径,例如: export JAVA_HOME=/usr/lib/jvm/default-java 然后编辑etc/hadoop/core-site.xml文件,添加以下内容: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:900</value> </property> </configuration> 接着编辑etc/hadoop/hdfs-site.xml文件,添加以下内容: <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/hadoop-3.3./data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/hadoop-3.3./data/datanode</value> </property> </configuration> 最后编辑etc/hadoop/mapred-site.xml文件,添加以下内容: <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 6. 启动Hadoop 在终端中输入以下命令启动Hadoop: start-all.sh 7. 验证Hadoop是否正常运行 在浏览器中输入http://localhost:50070/,如果能够看到Hadoop的Web界面,则说明Hadoop已经正常运行。 以上就是Ubuntu 18.04安装Hadoop教程,希望能够帮助到你。 ### 回答2: Hadoop是一个开源的基于Java的分布式计算平台,主要用于处理大规模数据。ubuntu18.04是目前较为常见的一个Linux发行版,本文将对如何在ubuntu18.04安装hadoop进行具体介绍。 1. 安装Java环境 Hadoop是基于Java开发的,因此需要先安装Java环境。在终端执行以下命令: sudo apt-get update sudo apt-get install openjdk-8-jdk 2. 配置SSH Hadoop需要使用SSH来进行节点之间的通信,因此需要先配置SSH。在终端执行以下命令: sudo apt-get install ssh ssh-keygen -t rsa -P '' 这样在当前用户的home目录下就会生成.id_rsa.pub和id_rsa两个文件,这两个文件分别是公钥和私钥。 3. 下载与安装Hadoop 可以从官网下载Hadoop二进制安装包,解压后将文件夹移动到指定的目录即可。 tar -xzvf hadoop-2.7.3.tar.gz sudo mv hadoop-2.7.3 /usr/local/hadoop 4. 配置Hadoop环境变量 为了在任何目录下都可以使用Hadoop命令,需要将Hadoop的bin目录添加到环境变量中。打开~/.bashrc文件,在最后添加以下代码: export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin 保存文件后,执行以下命令,让环境变量立即生效: source ~/.bashrc 5. 修改Hadoop配置文件 目前,需要修改三个配置文件:hadoop-env.sh,core-site.xml和hdfs-site.xml。 hadoop-env.sh配置文件: 打开$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件,找到以下一行: #export JAVA_HOME=${JAVA_HOME} 将其修改为: export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ core-site.xml配置文件: 打开$HADOOP_HOME/etc/hadoop/core-site.xml文件,找到以下代码块: <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> 将其修改为: <property> <name>fs.defaultFS</name> <value>hdfs://localhost:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop_scratch</value> </property> hdfs-site.xml配置文件: 打开$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件,找到以下代码块: <property> <name>dfs.replication</name> <value>1</value> </property> 修改为: <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop-2.7.3/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop-2.7.3/dfs/data</value> </property> 6. 格式化Hadoop文件系统 在终端执行以下命令: hdfs namenode -format 执行该命令后,会将Hadoop文件系统初始化。 7. 启动Hadoop集群 在终端执行以下命令启动Hadoop集群: start-dfs.sh start-yarn.sh 8. 验证Hadoop集群是否正常 执行以下命令: hadoop fs -mkdir /test 如果命令执行成功,则说明Hadoop集群已经成功安装和配置! 以上就是在Ubuntu18.04上安装Hadoop教程Hadoop作为一个大数据处理框架,安装和配置相对较为繁琐,需要仔细操作。希望本文能够帮助到读者,为日后的工作和学习提供方便。 ### 回答3: Ubuntu 18.04安装Hadoop的步骤如下: 1. 安装Java JDK:Hadoop是用Java编写的,所以必须要安装JDK。在终端中使用以下命令进行安装: ``` sudo apt-get update sudo apt-get install default-jdk ``` 2. 确认Java是否成功安装: ``` java -version ``` 3. 下载Hadoop:在Hadoop的官网上下载二进制文件,也可以使用以下命令来下载: ``` wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz ``` 4. 解压缩Hadoop文件: ``` tar -xzf hadoop-3.2.2.tar.gz ``` 5. 设置Hadoop环境变量:编辑~/.bashrc文件并添加以下内容: ``` export HADOOP_HOME=/path/to/hadoop-3.2.2 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 6. 配置Hadoop:打开Hadoop配置文件进行编辑: ``` cd ~/hadoop-3.2.2/etc/hadoop/ sudo nano hadoop-env.sh //编辑文件 ``` 找到以下内容: ``` export JAVA_HOME=${JAVA_HOME} ``` 将“${JAVA_HOME}”更改为实际的Java JDK路径: ``` export JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64 //修改后 ``` 7. 配置Hadoop的核心文件:打开core-site.xml文件进行编辑: ``` sudo nano core-site.xml //编辑文件 ``` 添加以下内容: ``` <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 8. 配置Hadoop的HDFS:打开hdfs-site.xml文件进行编辑: ``` sudo nano hdfs-site.xml //编辑文件 ``` 添加以下内容: ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>file:///home/<username>/hadoop/hdfs/namenode</value> </property> <property> <name>dfs.data.dir</name> <value>file:///home/<username>/hadoop/hdfs/datanode</value> </property> </configuration> ``` 将“<username>”更改为您的用户名。 9. 格式化HDFS: ``` hdfs namenode -format ``` 10. 启动Hadoop服务: ``` start-dfs.sh ``` 11. 验证Hadoop: 使用以下命令创建一个测试文件并将其上传到HDFS: ``` echo "Hello World" > test.txt hdfs dfs -mkdir /inputs hdfs dfs -put test.txt /inputs ``` 查看HDFS中是否存在test.txt: ``` hdfs dfs -ls /inputs ``` 以上就是在Ubuntu 18.04上安装Hadoop的全部步骤。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SiccyHsiang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值