使用Docker伪分布式安装hadoop

最新推荐文章于 2023-07-17 09:05:10 发布
最新推荐文章于 2023-07-17 09:05:10 发布
阅读量347 收藏
点赞数
分类专栏： java 文章标签： docker 分布式 hadoop intellij-idea 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67402235/article/details/126553640
版权

1. 安装Docker Desktop

官网地址
在这里插入图片描述

2. 下载linux内核更新包(安装好Docker重启之后，会自动提示安装它)

官网地址
在这里插入图片描述

3. 重启计算机后打开docker desktop

4. win + r 打开 cmd窗口

5. 拉取镜像

docker pull ubuntu:16.04

6. 创建桥接网络(Docker默认使用桥接，此处亦使用桥接)

将网络名称命名为hadoop

docker network create -d bridge hadoop

7. 替换镜像源

挂载本地文件至docker

  1. 将本地文件挂载至镜像ubuntu:16.04,并启动容器，打开交互式终端
    此处将目录E:COURSESpark 挂载至 目录 /home

    将本地文件挂载至镜像ubuntu:16.04,并启动容器，打开交互式终端

    docker run -v E:COURSESpark:/home -it ubuntu:16.04

  2. 在目录E:COURSESpark下创建文件sourcelist.txt,文件内容如下：
    阿里云镜像源（Ubuntu）
    其他系统镜像源还请自行寻找，注意替换时系统版本须一致

    deb http://mirrors.aliyun.com/ubuntu/ xenial main
    deb-src http://mirrors.aliyun.com/ubuntu/ xenial main

    deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main
    deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main

    deb http://mirrors.aliyun.com/ubuntu/ xenial universe
    deb-src http://mirrors.aliyun.com/ubuntu/ xenial universe
    deb http://mirrors.aliyun.com/ubuntu/ xenial-updates universe
    deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates universe

    deb http://mirrors.aliyun.com/ubuntu/ xenial-security main
    deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main
    deb http://mirrors.aliyun.com/ubuntu/ xenial-security universe
    deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security universe

  3. 在cmd窗口中执行命令

    使用挂载到/home下的文件（sourcelist.txt）替换文件/etc/apt/sources.list

    mv /home/sourcelist.txt /etc/apt/sources.list

解释

参数

含义

- i

交互式

-t

terminal(终端)

-v

指定挂载(源)目录到(目标)目录

5. 安装openssh、jdk等

运行如下命令：

apt-get update
apt install vim
apt install net-tools
apt install openjdk-8-jdk
apt install scala
apt-get install openssh-server
# 生成密钥
ssh-keygen -t rsa -P "“
# 将公钥追加到authorized_keys 文件中 
cat .ssh/id_rsa.pub >> .ssh/authorized_keys
# 启动 SSH 服务  
service ssh start
# 免密登录自己 
ssh 127.0.0.1
# 自动启动 SSH 服务,将命令service ssh start写入文件~/.bashrc中
vim ~/.bashrc
service ssh start

6. hadoop 下载地址

清华软件镜像站
清华镜像站中hadoop地址
在这里插入图片描述

# 在哪个目录下执行以下命令，文件便下载到哪个目录
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-3.3.2.tar.gz

7. 解压hadoop

# 解压文件hadoop-3.3.2.tar.gz至目录/usr/local/
tar -zxvf hadoop-3.3.2.tar.gz -C /usr/local/
# 文件重命名
mv /usr/local/hadoop-3.3.2 /usr/local/hadoop

8. 配置hadoop

  1. 修改 /etc/profile
vim /etc/profile

在该文件中添加如下内容：

#java
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=${JAVA_HOME}/jre    
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib    
export PATH=${JAVA_HOME}/bin:$PATH
#hadoop
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_PREFIX=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME 
export HADOOP_INSTALL=$HADOOP_HOME 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec 
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
export HDFS_DATANODE_USER=root
export HDFS_DATANODE_SECURE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_NAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root


# 使变量生效
source /etc/profile
  1. 修改hadoop-env.sh
vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

在文件中添加如下内容：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

3.修改core-site.xml

vim /usr/local/hadoop/etc/hadoop/core-site.xml

将原文件的替换为如下内容：

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://h01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>      
        <value>/home/hadoop3/hadoop/tmp</value>
    </property>
</configuration>

4.修改hdfs-site.xml

vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

将原文件的替换为如下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop3/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.namenode.data.dir</name>
        <value>/home/hadoop3/hadoop/hdfs/data</value>
    </property>
</configuration>

5.修改mapred-site.xml

vim /usr/local/hadoop/etc/hadoop/mapred-site.xml

将原文件的替换为如下内容：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>
            /usr/local/hadoop/etc/hadoop,
            /usr/local/hadoop/share/hadoop/common/*,
            /usr/local/hadoop/share/hadoop/common/lib/*,
            /usr/local/hadoop/share/hadoop/hdfs/*,
            /usr/local/hadoop/share/hadoop/hdfs/lib/*,
            /usr/local/hadoop/share/hadoop/mapreduce/*,
            /usr/local/hadoop/share/hadoop/mapreduce/lib/*,
            /usr/local/hadoop/share/hadoop/yarn/*,
            /usr/local/hadoop/share/hadoop/yarn/lib/*
        </value>
    </property>
</configuration>

6.修改yarn-site.xml

vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

将原文件的替换为如下内容：

<configuration>
    <property>
  		<name>yarn.resourcemanager.hostname</name>
        <value>h01</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

7. 修改workers文件

vim /usr/local/hadoop/etc/hadoop/workers

填入如下内容(伪分布式)

h01
h02

名称

地位

h01

主节点

h02

从节点

8. 保存镜像（另外打开一个cmd窗口[第二个cmd窗口]）

# 当前容器 可使用命令 docker ps 查看镜像ID
docker commit -m 说明 -a 作者 当前容器 目标镜像

本人此处为

docker commit -m “haddop” -a “hadoop“ 5cd9799528ec hdp

9. 运行master主节点容器

docker run -it --network hadoop -h "h01" --name "h01" -p 9870:9870 -p 8088:8088 hdp /bin/bash

9. 运行slave从节点容器（另外打开一个cmd窗口[第三个cmd窗口]）

docker run -it --network hadoop -h "h02" --name "h02" hdp /bin/bash

10. 格式化（第二个cmd窗口下）

/usr/local/hadoop/bin/hadoop namenode -format

11. 启动集群（第二个cmd窗口下）

/usr/local/hadoop/sbin/start-all.sh

12. 查看集群状态（第二个cmd窗口下）

1. 当前进程

jps

2. 查看状态

/usr/local/hadoop/bin/hadoop dfsadmin -report

3. 通过web端

地址栏输入

127.0.0.1:8088

13. 测试wordcount（第二个cmd窗口下）

  1. 创建输入文件

    /usr/local/hadoop/bin/hadoop dfs -mkdir /input
    /usr/local/hadoop/bin/hadoop dfs -copyFromLocal /usr/local/hadoop/LICENSE.txt /input

  2. 运行实例

    /usr/local/hadoop/bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount /input /output

  3. 查看结果

    /usr/local/hadoop/bin/hadoop dfs -ls /output
    /usr/local/hadoop/bin/hadoop dfs -cat /output/part-r-00000

附录

1. 连接容器

docker exec -it 容器ID /bin/bash

2. 删除镜像

docker rmi 镜像名
m0_67402235
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Docker环境下Hadoop单机伪分布式
广彐水厂
04-22 679
一、前提条件 以下所有操作都基于Docker，需要预先安装，安装教程如下： Docker安装教程（视频+图文） 软件包准备：hadoop-2.7.7.tar.gz、jdk-8u191-linux-x64.tar.gz 二、编写Dockerfile [xiaokang@hadoop ~]$ sudo vim Hadoop-Single-Dockerfile #选择centos7.7.1908作...
基于Docker布署伪分布式hadoop环境(二)
不去想结果，一直在路上
08-05 1387
接这上一次的操作继续，拉下来就是配置hadoop了 前面的操作请看这儿 5.hadoop配置 （1）core-site.xml配置 打开core-site.xml文件(nano core-site.xml) hadoop.tmp.dir /root/soft/apache/hadoop/hadoop-2.6.0/tm
基于Docker布署伪分布式hadoop环境(一)
不去想结果，一直在路上
08-04 1487
1.安装Docker 安装Docker的方法这里不再详述，根据自己的操作系统在网上有一大堆教程。今天我们的主要任务是在DOCKER上布署HADOOP。 2.下载 ubutun镜像docker pull ubuntu:14.04这条命令的作用是从Docker仓库中获取ubuntu的镜像,下载完成以后，使用docker images，可以列出所有本地的镜像 Docker常用命令介绍 docke
傻瓜教程之docker搭建hadoop伪分布式
呼卓宇的博客
01-26 2216
目录安装hadoop镜像 安装hadoop镜像 在docker中查找hadoop 镜像 docker search hadoop 我们选择star数量最多的镜像拉取 docker pull docker.io/sequenceiq/hadoop-docker 查看镜像 docker images 创建master节点 docker run --name hadoop1 -d -h master docker.io/sequenceiq/hadoop-docker 参数说明： --na
【Hadoop】使用Docker容器搭建伪分布式集群
最新发布
weixin_44664746的博客
07-17 636
使用Docker搭建Hadoop伪分布式集群
详解使用docker搭建hadoop分布式集群
01-11
使用Docker搭建部署Hadoop分布式集群 在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档，没办法，只能自己写一个了。 一：环境准备： 1：首先要有一个Centos7操作系统，可以在虚拟机中安装...
hadoop伪分布式安装环境菜鸟教程.docx
03-05
docker部署hadoop伪分布式搭建环境成功的教程
docker一键安装hadoop集群
10-14
【Dockerfile详解】 Dockerfile 是一个文本文件，包含了构建 Docker 映像的指令序列。...通过 Docker 安装 Hadoop 集群，可以在不改变主机系统的情况下快速部署和测试，方便开发者和运维人员进行开发、测试和演示。
hadoop-docker:DockerFile 用于 docker 上的分布式 hadoop 集群（测试目的）
05-31
hadoop-docker DockerFile 用于 docker 上的分布式 hadoop 集群（测试目的）
使用docker搭建hadoop环境，并配置伪分布式模式
weixin_30558305的博客
01-09 481
docker 1、下载docker镜像 docker pull registry.cn-hangzhou.aliyuncs.com/kaibb/hadoop:latest 注：此镜像为阿里云个人上传镜像，比较符合目前我的需求，镜像为搭建好的hadoop环境，见https://dev.aliyun.com/detail.html?spm=5176.1972343.2.14.Q...
hadoop之docker伪分布式部署
Gavin Guan的专栏
03-08 1212
配置环境： macbook、两台ubuntu 16.04 server虚拟机，用VMware Fusion创建的，虚拟机网络适配器模式是NAT模式(注意此处一定要是NAT模式) 第一步：搭建虚拟网桥br0，br1 这步可以按照网上的一些通用做法来做，没什么特别的，如这篇文章 http://blog.csdn.net/canot/article/details/52895897。 不过我要
Docker-hadoop的伪分布式和集群的搭建
shursulei的博客
07-04 653
http://tashan10.com/yong-dockerda-jian-hadoopwei-fen-bu-shi-ji-qun/ blog.csdn.net/xu470438000/article/details/50512442 cloud.51cto.com/art/201505/477851.htm 后续的擦作博主正在实验之中，请耐心等待
Docker构建自己的Hadoop容器之Hadoop伪分布式搭建
TrueDei
02-12 1232
Docker现在用的越来越多了,咱们也要跟上节奏呀,来吧 我的目录结构如下: 首先创建一个目录用来存放咱们后来想要存放的一些东西,例如hadoop的安装包,jdk的安装包等. zhenghui@F117:/soft/code/hadoopImages$ zhenghui@F117:/soft/code/hadoopImages$ pwd /soft/code/hadoopImages zheng...
docker安装hadoop伪分布式集群
sjz_hahalala479的博客
06-20 1042
没别的，感谢这篇文章的大佬相助！！！！ https://zhuanlan.zhihu.com/p/59758201
alpine linux hadoop,使用docker搭建hadoop环境，并配置伪分布式模式
weixin_29028595的博客
05-27 369
hadoop1、配置hadoop伪分布模式由于此docker镜像已经进行了相关配置，故可直接跳过配置过程，直接启动服务。可以跳过此部分Hadoop 可以在单节点上以所谓的伪分布式模式运行，此时每一个 Hadoop 守护进程都作为一个独立的 Java 进程运行。修改如下配置文件，文件地址位于hadoop的安装目录下，此容器中的位置为：/opt/tools/hadoop/etc/hadoop/etc/...
SpringBoot整合Docker-Hadoop伪分布式集群实现关系的投影与选择
WaitIKnowYou的博客
06-25 475
任务：关系的选择与投影运算描述：在Hadoop平台搭建完成的基础上，利用MapReduce完成关系的选择与投影运算。使用SpringBoot框架整合Hadoop实现数据上传与结果查看、下载。//1.患者年龄 （1）年轻，（2）老花前期，（3）老花眼//2.眼镜处方： （1）近视，（2）远视//3.散光： （1）没有，（2）有//4.泪液生成率： （1）降低，（2）正常最简单的linux虚拟机搭建hadoop集群的方法(centos系统)参考。
Docker + Hadoop 搭建完全分布式
热门推荐
Create value with coding
11-23 1万+
阅读本文需要一定的 Linux 基础，不适合新手，仅提供思路 系统部署 参考 Docker 下载：https://docs.docker.com/desktop/windows/install/ Docker 安装：https://www.runoob.com/docker/windows-docker-install.html 部署 Centos7 Docker 国内源 参考源 中科大 网易源 阿里镜像（建议） 进入管理控制台 --> 产品与服务 --> 弹性计算 -->.
windows平台使用Docker搭建分布式hadoop集群
m0_48275578的博客
04-26 5894
先修篇 下载Docker可参考该博客的Docker安装 安装Docker可能遇到的一些问题可参考该博客的Docker安装问题 操作环境 windows : 10 Docker : 4.7.0 将要拉取的镜像 ： centos 7.6.1810 1. 安装centos 7.6镜像 1.1 搜索centos 7.6镜像 docker search centos7 1.2 拉取镜像 docker pull centos:7.6.1810 1.3 验证镜像安装成功 docker images .
Docker学习七：使用docker搭建Hadoop集群
weixin_44023658的博客
04-18 924
首先查看docker情况，由于我之前已经安装过docker，这里查看一下 接下来就要在Docker上安装Ubuntu 在个人文件下创建一个目build录，用于向Docker内部的Ubuntu系统传输文件 然后再在Docker上运行Ubuntu系统； Ubuntu系统初始化 更新系统软件源、安装vim 接着安装sshd，因为在开启分布式Hadoop时，需要用到ssh连接slave: 开启sshd服务器: 设置自动开启 配置sshd 安装JDK 配置hadoop集群 在三个终端上开启

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值