Ubuntu下Hadoop搭建

最新推荐文章于 2023-05-18 09:06:21 发布
最新推荐文章于 2023-05-18 09:06:21 发布
阅读量245 收藏
点赞数
文章标签： Hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jeffscott/article/details/101982375
版权

Table of Contents

0.环境说明

1. Java安装

2. Hadoop 安装

2.1 新建hd用户

2.2  伪分布式模式安装

2.2.1 移动文件

2.2.2 Hadoop配置

2.2.3 Hadoop测试

2.3 Hadoop集群模式的安装

 2.3.1  添加环境变量

 2.3.2  配置环境文件

 2.3.3  修改主机名

2.3.4 设置 SSH 无密码登录

2.3.5 配置 hadoop 的配置文件

2.3.6 格式化文件系统

2.3.7 系统测试

0.环境说明

1）Ubuntu版本：16.04

2）Hadoop版本：2.7.7

3)  Java版本：1.8.0_212

1. Java安装

1）更新包源

sudo apt-get update

2) 安装jdk

sudo apt-get install default-jdk

3) 查看安装位置

update-alternatives --config java

4）设置环境变量

sudo vim /etc/profile

5）末尾添加（路径以实际安装路径为主）

export JAVA_HOME="/usr/lib/jvm/java-8-oracle"
export PATH=$JAVA_HOME/bin:$PATH

6）使得修改生效

source /etc/profile

7）检查设置是否成功

echo $JAVA_HOME

2. Hadoop 安装

2.1 新建hd用户

1）由于后续操作需要将模式切换为 root

su

#如果忘记root密码，可以先修改

sudo passwd root

2) 创建hd用户

sudo useradd -mk /home/hd -s/bin/bash hd

3）为sudoer文件添加修改权限

chmod u+w /etc/sudoers

4) 给hd添加sudo 权限

vim /etc/sudoers

#添加以下内容

root ALL=(ALL) ALL
hadoop ALL=(root) NOPASSWD:ALL

5）撤销 sudoers 文件被修改的权限

chmod u+r /etc/sudoers

6）切换到 hd 用户

su hd

7） 创建数据存放目录

 mkdir -p /home/hd/data/tmp

2.2  伪分布式模式安装

2.2.1 移动文件

1) 将安装包放到/home/hd目录下,切换目录

cd ~

2）解压

tar -zxvf hadoop-2.7.7.tar.gz

2.2.2 Hadoop配置

1）配置 Hadoop 环境变量

sudo vim /etc/profile

#末尾添加

export HADOOP_HOME="/home/hd/hadoop-2.7.7"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

2）使得修改生效

source /etc/profile

3）验证 HADOOP_HOME 参数

echo $HADOOP_HOME

4）配置 hadoop-env.sh 文件参数

 sudo vim ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh

修改 JAVA_HOME 参数为

export JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64"

5）配置 mapred-env.sh 文件参数

sudo vim ${HADOOP_HOME}/etc/hadoop/mapred-env.sh

修改 JAVA_HOME 参数为

export JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64"

6）配置 core-site.xml

vim ${HADOOP_HOME}/etc/hadoop/core-site.xml

修改为：

<configuration>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/data/tmp</value>
		<description>Abase for other temporary directories.</description>
	</property>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:8020</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

7）配置 core-site.xml

 vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml

修改为：

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/opt/data/tmp/dfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/opt/data/tmp/dfs/data</value>
	</property>
</configuration>

8）配置 yarn-site.xml

 vim ${HADOOP_HOME}/etc/hadoop/yarn-site.xml

修改为：

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>ubuntu</value><!--请以实际主机名为准-->
	</property>
</configuration>

2.2.3 Hadoop测试

1）格式化HDFS

hdfs namenode -format

2) 启动集群

start-dfs.sh && start-yarn.sh

3）查看是否成功启动服务

jps

4）查看端口号

ss -tnl

5）关闭集群

stop-dfs.sh && stop-yarn.sh

2.3 Hadoop集群模式的安装

 2.3.1  添加环境变量

1）编辑文件

sudo vim /etc/profile

#末尾添加

export HADOOP_HOME="/home/hd/hadoop-2.7.7"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_PREFIX=$HADOOP_HOME
export CLASSPATH=$CLASSPATH:.:$HADOOP_HOME/bin

2） 使得修改生效

 source /etc/profile

3）验证 HADOOP_HOME 参数

echo $HADOOP_HOME

 2.3.2  配置环境文件

1）配置 mapred-env.sh 文件参数

sudo vim ${HADOOP_HOME}/etc/hadoop/mapred-env.sh

#添加 JAVA_HOME 参数，请以实际的JAVA_HOME为准

export JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64"

2）配置 yarn-env.sh 文件参数

sudo vim ${HADOOP_HOME}/etc/hadoop/yarn-env.sh

#添加 JAVA_HOME 参数，请以实际的JAVA_HOME为准

export JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64"

 

3）hadoop里面hadoop-env.sh文件里面的java路径设置

 sudo vim ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh

 #添加 JAVA_HOME 参数，请以实际的JAVA_HOME为准

export JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64"

2.3.3  修改主机名

1）在三台机器上修改 /etc/hostname 分别修改主机名

sudo vim /etc/hostname

#分别修改主机名

master 节点:master
slave1 节点： slave1
slave2 节点： slave2

3）修改 /etc/hosts

sudo vim /etc/hosts

#添加内容(请以实际的IP地址为准)

192.168.219.51 master
192.168.219.55 slave1
192.168.219.56 slave2

2.3.4 设置 SSH 无密码登录

1）在三台机器上同时生成公钥和私钥, 一路回车，都设置为默认值.

cd ~
ssh-keygen -t rsa

2）在master机器上执行命令，将生成的公钥添加到授权文件

cat .ssh/id_rsa.pub >> .ssh/authorized_keys

3）在slave1上执行命令，将slave1生成的公钥文件复制到master节点

scp ~/.ssh/id_rsa.pub hd@master:~/.ssh/id_rsa.pub.s1

4）在slave2上执行命令，将slave2生成的公钥文件复制到master节点

scp ~/.ssh/id_rsa.pub hd@master:~/.ssh/id_rsa.pub.s2

5）在master上将slave1和salve2的授权文件追加到master的文件中

cat ~/.ssh/id_rsa.pub.s1 >>  ~/.ssh/authorized_keys && cat ~/.ssh/id_rsa.pub.s2 >>  ~/.ssh/authorized_keys

6）分发公钥

#在master节点上分发到其他两个slave节点上

scp ~/.ssh/authorized_keys hd@slave1:~/.ssh

 

scp ~/.ssh/authorized_keys hd@slave2:~/.ssh

 7）测试免密登录情况

 

 

2.3.5 配置 hadoop 的配置文件

0）建议通过同时打开多个shell进行多台主机同时配置

1）配置 core-site.xml

vim ${HADOOP_HOME}/etc/hadoop/core-site.xml

#修改为

<configuration>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/data/tmp</value>
		<description>Abase for other temporary directories.</description>
	</property>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:9000</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

2）配置 core-site.xml

vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml

#修改为

<configuration>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/opt/data/tmp/dfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/opt/data/tmp/dfs/data</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>master:9001</value>
	</property>
</configuration>

3）配置 yarn-site.xml

vim ${HADOOP_HOME}/etc/hadoop/yarn-site.xml

#修改为

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<property>
		<name>yarn.resourcemanager.address</name>
		<value>master:8032</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address</name>
		<value>master:8030</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address</name>
		<value>master:8031</value>
	</property>
	<property>
		<name>yarn.resourcemanager.admin.address</name>
		<value>master:8033</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>master:8088</value>
	</property>
</configuration>

4）配置 mapred-site.xml

#复制模板

cp ${HADOOP_HOME}/etc/hadoop/mapred-site.xml.template ${HADOOP_HOME}/etc/hadoop/mapred-site.xml

#编辑配置文件

vim ${HADOOP_HOME}/etc/hadoop/mapred-site.xml

#修改为

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>master:10020</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>master:19888</value>
	</property>
</configuration>

5）配置复制

向 slave1 和 slave2 节点复制 hadoop2.6.5 整个目录至相同的位置，如果此前的修改都是同时在三个节点上相应文件上进行修改，则此步骤不用。

2.3.6 格式化文件系统

1）执行命令

 hdfs namenode -format

2）格式化成功的标志

3) 常见错误

java.io.IOException: Cannot create directory /opt/data/tmp/dfs/name/current

权限问题，hd用户对opt目录没有操作权限，赋予权限即可

chmod 777 /opt

2.3.7 系统测试

1) 启动集群

start-dfs.sh && start-yarn.sh

2) 查看进程

4）查看端口号

ss -tnl

3）登录web服务

#请以你实际的主机ip为准

http://192.168.219.51:50070

4）登录yarn服务

#请以你实际的主机ip为准

 http://192.168.219.51:8088/

5）停止集群

stop-dfs.sh && stop-yarn.sh

 

Jeff_Scott
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ubuntu下搭建hadoop
12-05
ubuntu下搭建hadoop的单机版和伪分布式，花费一学期搭建完成。
Ubuntu系统之Hadoop搭建
weixin_30469895的博客
05-15 87
作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 一、在Window中安装Oracle VM VirtualBox 二、创建Linux虚拟机 配置内存为1024M,然后默认配置下一步 配置成功后，配置存储 导入Ubuntu系统光驱 启动...
Ubuntu下搭建Hadoop开发环境
热门推荐
xiaotom5的专栏
10-17 1万+
大家好，最近对Hadoop非常感兴趣，今天花点工夫搭建一个开发环境，并整理成文。 首先要了解一下Hadoop的运转形式： 单机形式（standalone）        单机形式是Hadoop的默许形式。现在次解压Hadoop的源码包时，Hadoop无奈了解硬件安装环境，便激进地抉择了最小配置。在这种默许形式下所有3个XML文件均为空。当配置文件为空时，Hadoop会齐全运转在当地。由于不需
Ubuntu下Hadoop单机部署及分布式集群部署
wangqiaowqo的专栏
07-24 226
CDH 4.5 手动安装 http://wenku.baidu.com/view/6544c87f2e3f5727a5e962a3.html hadoop-1.1.2.tar.gz 也测试通过 重要 安装文档http://wenku.baidu.com/view/685f71b165ce050876321329.html 在选择网络连接时，选择桥接模式 设置root用户密码...
ubuntu搭建hadoop
03-25
NULL 博文链接：https://ouyida3.iteye.com/blog/1156589
详解搭建ubuntu版hadoop集群
09-15
在本文中，我们将详细阐述如何在Ubuntu 16.04环境下搭建Hadoop集群。Hadoop是一个开源的分布式计算框架，它允许处理和存储大量数据，尤其适合大数据分析。Ubuntu是Linux发行版中的一个流行选择，其稳定性和丰富的...
ubuntu下搭建Hadoop
11-11
总结起来，Ubuntu下搭建Hadoop是一个涉及多步骤的过程，包括操作系统安装、用户和权限管理、Java环境配置、网络通信安全设置以及Hadoop自身环境的构建。每个步骤都需要细心操作，以确保Hadoop能够稳定运行。在实际...
Ubuntu18.04 Hadoop 搭建
m0_67390963的博客
04-11 470
Ubuntu18.04 Hadoop 搭建 一、操作环境 1.1 操作系统：Windows 10 64位 1.2 虚拟机：VMware Workstation Pro 14.1.2 二、安装包 2.1 Ubuntu Server 镜像：ubuntu-18.04-live-server-amd64.iso 2.2 Java：jdk-8u181-linux-x64.tar.gz 2.2 Hadoop: hadoop-3.1.1.tar.gz 三、创建虚拟机 创建master 创建slave1 创建slave2
Ubuntu下Hadoop的配置与搭建
11-29
在Ubuntu下利用Hadoop配置与搭建分布式系统。 全部是自己搜网上资料， 自己摸索写的。 内容详细！
一步一步在Ubuntu下搭建Hadoop环境
学如不及,犹恐失之
08-21 360
目录 1. 安装JDK 2. 设置SSH 2.1 安装SSH 2.2 安装rsync 2.3 产生SSH key 2.4 将产生的key放置到许可证中 3. 安装Hadoop 3.1 官网下载Hadoop压缩包后在/usr/local/hadoop文件夹下解压 3.2 环境变量设置 3.3Hadoop配置修改 3.3.1 设置JAVA_HOME 3.3.2 设置core-...
基于ubuntu安装Hadoop详细过程
06-28
在Mac虚拟机上使用ubuntu安装Hadoop 的详细过程，中科院数据库新技术大作业。
Ubuntu 搭建Hadoop单节点
专注基础架构领域
01-09 1061
一、安装JDK Ubuntu 安装Jdk1.8 二、安装并配置ssh免密登录 hadoop需要使用SSH的方式登陆，linux下需要安装SSH。客户端已经安装好了，一般只需要安装服务端就可以了： 在安装之前，还是先查看系统是否已经安装并且启动了ssh。 # 查看ssh安装包情况 dpkg -l | grep ssh # 查看是否启动ssh服务 ps -e | grep ssh 如果没...
基于Ubuntu系统下的Hadoop平台搭建详细步骤
今天你AC了吗
04-25 3142
基于Ubuntu系统下的Hadoop平台搭建1.更换阿里源（因为访问archive.ubuntu太慢，所以换成国内源，访问更快）2.安装JAVA环境3.创建Hadoop用户3.1创建新用户并设置密码3.2为hadoop用户添加管理员权限4.Hadoop安装4.1解压到我们的Ubuntu系统中4.2切换到Hadoop用户4.3解压Hadoop4.4伪分布式模式配置4.4.1修改配置文件4.4.2执行名称节点格式化4.5启动hadoop4.6使用浏览器查看HDFS信息4.7运行伪分布式实例4.8关闭Hadoop
（一）Hadoop基础搭建（Ubuntu）
萌面超人的博客
03-30 2863
Hadoop搭建（Ubuntu） 第一步 准备工作 安装net-tools sudo apt-get install net-tools 安装vim sudo apt-get install vim 安装FTP软件（Windows） 推荐：FileZilla、XFTP 第二步 安装免密SSH 安装SSH服务 sudo apt-get install ssh 开启SSH服务 ssh localhost 进入SSH所在文件 cd ~/.ssh 生成密钥（一路Enter下去）
Hadoop部署（Ubuntu）
最新发布
Michael的博客
05-18 1323
在Ubuntu上部署Hadoop的详细步骤
Ubuntu下的Hadoop的安装与配置（伪分布式）
vercel
05-05 495
Ubuntu下的Hadoop的安装与配置（伪分布式） Hadoop的安装与配置（伪分布式）说明
Ubuntu Hadoop安装
github_38160694的博客
01-11 481
一）安装hadoop 首先确保正确地安装和配置了jdk，同安装jdk方式基本相同，最后写配置 export HADOOP_HOME=/usr/hadoop/hadoop2 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 除了/etc/profile.d/下新键sh文件外，注意ubuntu要在各个用户家目录下的.bashrc写配置...
如何在MVWare+Ubuntu环境下搭建Hadoop完全分布式？
悟空非空也
10-04 605
目录 一、软件版本 2 二、安装教程 2 1、VMWare安装教程 2 2、Ubuntu安装教程 2 3、安装VMWare-Tools 5 4、共享文件夹的创建 7 5、用户创建 11 6、克隆Ubuntu 11 7、主机配置 14 8、SSH无密码验证配置 14 9、Java环境配置 16 10、hadoop集群安装 16 三、运行wordcount程序 2 一、软件...
基于linux平台的Hadoop完全分布式集群搭建
s77的博客
12-28 4120
前一段因为课设搭建了基于linux的Hadoop集群，现将搭建过程记录如下，如有错误，望不吝指出。 注：下文从自己的课设报告中直接粘贴下来的，可能有些格式问题。 环境搭建        因为此次课程设计需要用到多台主机，所以选择在虚拟机中完成。三台虚拟机系统均选择Ubuntu16.04。虚拟机分配2G内存，100G硬盘，单个网络适配器，网络连接方式选择nat方式。大致情况如下图所示 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值