【hadoop3.2.1】windows10 docker学习环境创建，windows和容器bridge模式下联网，测试例子

最新推荐文章于 2024-05-16 20:00:00 发布
最新推荐文章于 2024-05-16 20:00:00 发布
阅读量447 收藏
点赞数
文章标签： docker 学习 windows
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40485502/article/details/125025824
版权

本地机器：windows10
虚拟机：centOS7.9
docker创建hadoop学习环境

1.创建docker镜像（hadoop）

下载centos镜像: docker pull centos
启动一个容器：docker run -td --name base -i centos bash
进入容器，安装jdk及hadoop，方法和主机一样
容器中安装ssh：yum install openssh-server openssh-clients
设置免密登录： ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
保存容器修改：docker commit base hadoop:4

docker安装java

docker安装java

  1. 下载java：java
  2. id获取:docker ps
  3. java复制到虚拟机中：5016972d8541是id
    docker cp C:\Users\wxl\Downloads\jdk-8u333-linux-x64.tar.gz 5016972d8541:/software
  4. 解压tar -zxvf jdk-8u65-linux-x64.tar.gz
  5. 环境变量

2. 网络问题和创建容器

macos
windows

  1. hadoop镜像：docker pull registry.cn-hangzhou.aliyuncs.com/san-namespaces/san-registry:hadoop-3.2.1
  2. 创建自定义网络
    docker network create --subnet=192.168.0.0/16 -d nat mynetwork# error 说没有nat?
docker network create --subnet=192.168.0.0/16 -d bridge mynetwork
docker network ls
# NETWORK ID     NAME      DRIVER    SCOPE
# 62710c6cefa1   bridge    bridge    local #默认连这个网络
# 5a81d1387e99   host      host      local
# 79d021dcdc7f   none      null      local
  3. 创建容器
    docker run -h hadoop-master --name hadoop-master -p 8088:8088 -p 9870:9870 -p 9868:9868 -p 1022:22 -itd --privileged=true --net mynetwork --ip 192.168.0.4 4eba2c1559c7 /usr/sbin/init
docker run -h hadoop-slave1 --name hadoop-slave1 -itd  --privileged=true --net mynetwork -p 10221:22 --ip 192.168.0.5 4eba2c1559c7 /usr/sbin/init
docker run -h hadoop-slave2 --name hadoop-slave2 -itd  --privileged=true --net mynetwork -p 10222:22  --ip 192.168.0.6 4eba2c1559c7 /usr/sbin/init

https://blog.csdn.net/qq_42511420/article/details/124926620 

4. 修改密码`passwd root`
5. cat /etc/hosts

> 192.168.0.4     hadoop-master
192.168.0.5     hadoop-slave1
192.168.0.6     hadoop-slave2

重启时自动添加：`cat ~/.bashrc`

> :>/etc/hosts cat >>/etc/hosts<<EOF
> 127.0.0.1  localhost
> 192.168.0.4   hadoop-master
> 192.168.0.5   hadoop-slave1
> 192.168.0.6   hadoop-slave2 EOF
## 配置机器间免密登陆
1. 修改ssh配置
/etc/ssh/sshd_config文件中开启：
	```python
	PubkeyAuthentication yes
	```
2. 重启ssh服务
	```python
	systemctl restart sshd.service
	```
3. 创建ssh key
	```python
	ssh-keygen -t rsa
	```
连续回车，最终会在/root/.ssh目录下生成id_rsa和 id_rsa.pub文件。
上述操作每台机器执行一次（1-3）

4. 合并公钥
登陆hadoop-master，在/root/.ssh目录下执行以下命令，将a0的公钥追加到authorized_keys文件中(如果authorized_keys不存在会新建)：
	```python
	cat id_rsa.pub>> authorized_keys
	```
	将hadoop-slave1的公钥加到hadoop-master中。
	```python
	ssh root@192.168.0.5 cat ~/.ssh/id_rsa.pub>> authorized_keys
	```
	输入hadoop-slave1的密码即可拷贝公钥到hadoop-master的authorized_keys中。同上拷贝hadoop-slave2的公钥到hadoop-master中。

	此时vim /root/.ssh/authorized_keys 如下图所示：

![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/d4dd51e3be4d6772008218b8dbc47eed.png)

	将hadoop-master中的公钥发送至两台从节点。完成免密登陆配置。
如果authorized_keys不生效，再使用：`ssh-copy-id -i root@ip_address`

## 配置hadoop
hadoop安装目录：/opt/software/hadoop/hadoop-3.2.1
java目录：/opt/software/java/jdk1.8.0_181
版本：3.2.1
$HADOOP_HOME/etc/hadoop

> 在$HADOOP_HOME/etc/hadoop下包括hdfs-site.xml、core-site.xml、yarn-site.xml、mapred-site.xml、master、workers、hadoop-evn.xml。

配置文件修改可参照官方文档按需要配置，也可以参照网上基本配置（注意：hadoop版本不同，服务端口有变化，2.X与3.X相同页面服务，端口不同。master、workers文件名称亦有变化。自行查找配置）

初始镜像里没有hadoop和java的环境变量，是否需要配置？

### 配置hadoop

各文件部分已配置，修改一下
[hadoop配置多机](https://blog.csdn.net/sanhongbo/article/details/114440664)
以下修改操作均在hadoop-master上进行
#### 修改hadoop-env.sh文件
```python
export JAVA_HOME=/usr/local/src/jdk1.8 
export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop #添加这个
修改core-site.xml文件（不用改）
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop-master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/tmp/hadoop</value>
    </property>
</configuration>
hdfs-site.xml(不用改，保持）
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop-master:9868</value>
    </property>
</configuration>
mapred-site.xml（不用改）
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
yarn-site.xml（部分修改）
<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.env-whitelist</name>
	<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop-master</value>
  </property>
</configuration>
修改workers文件（已有）
hadoop-slave1
hadoop-slave2

修改启动脚本

hadoop启动脚本修改

cd /opt/software/hadoop/hadoop-3.2.1/sbin

在这里插入图片描述

  1. start-dfs.sh,stop-dfs.sh(前者已有，后者需添加）添加以下：
    HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
  2. 修改start-yarn.sh，stop-yarn.sh
    YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

格式化并启动hdfs

  1. 首先配一下环境变量source /etc/profile
  2. cd /opt/software/hadoop/hadoop-3.2.1/
  3. 格式化 hadoop namenode -format
  4. cd /opt/software/hadoop/hadoop-3.2.1/sbin

关闭防火墙

关闭防火墙
镜像里没防火墙，装上试试
（不装也打不开网页……）
resource

多种模式

在这里插入图片描述

单机模式

[本地模式环境搭建](https://blog.csdn.net/Yal_insist/article/details/123750149）
官方配置教程

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount ./wcinput ./wcoutput

mkdir input
cp etc/hadoop/.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.3.jar grep input output ‘dfs[a-z.]+’
$ cat output/
hadoop-mapreduce-examples-3.1.3.jar:一个案例，里面有多个函数
wordcount包中的其中一个功能
./wcinput输入文件
./wcoutput输出文件
都在本地，无需设置

问题1：找不到本地lib
解决1：设置环境变量

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_HOME=/home/hadoop/hadoop-3.2.1
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR:$HADOOP_HOME/share/hadoop"

解决了warn，但仍无法运行
报错：

java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.                                 
at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:116)                  
at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:109)
...
 at org.apache.hadoop.util.RunJar.run(RunJar.java:323)                                
 at org.apache.hadoop.util.RunJar.main(RunJar.java:236)

解决：添加配置：etc/hadoop/mapred-site.xml

<property>
       <name>mapreduce.application.classpath</name>
       <value>$HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/mapreduce/lib/*</value>
</property>

问题3：datanode未启动
解决：hdfs --daemon start datanode

问题4：.InvalidInputException: Input path does not exist

hadoop fs -put wcintput /

上传成功了，但还是找不到。。。。

宿主机连接容器网络

宿主机连接容器网络

本地机器：windows10
虚拟机：centOS7.9
docker创建hadoop学习环境

1.创建docker镜像（hadoop）

下载centos镜像: docker pull centos
启动一个容器：docker run -td --name base -i centos bash
进入容器，安装jdk及hadoop，方法和主机一样
容器中安装ssh：yum install openssh-server openssh-clients
设置免密登录： ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
保存容器修改：docker commit base hadoop:4

docker安装java

docker安装java

  1. 下载java：java
  2. id获取:docker ps
  3. java复制到虚拟机中：5016972d8541是id
    docker cp C:\Users\wxl\Downloads\jdk-8u333-linux-x64.tar.gz 5016972d8541:/software
  4. 解压tar -zxvf jdk-8u65-linux-x64.tar.gz
  5. 环境变量

2. 网络问题和创建容器

macos
windows

  1. hadoop镜像：docker pull registry.cn-hangzhou.aliyuncs.com/san-namespaces/san-registry:hadoop-3.2.1
  2. 创建自定义网络
    docker network create --subnet=192.168.0.0/16 -d nat mynetwork# error 说没有nat?
docker network create --subnet=192.168.0.0/16 -d bridge mynetwork
docker network ls
# NETWORK ID     NAME      DRIVER    SCOPE
# 62710c6cefa1   bridge    bridge    local #默认连这个网络
# 5a81d1387e99   host      host      local
# 79d021dcdc7f   none      null      local
  3. 创建容器
    docker run -h hadoop-master --name hadoop-master -p 8088:8088 -p 9870:9870 -p 9868:9868 -p 1022:22 -itd --privileged=true --net mynetwork --ip 192.168.0.4 4eba2c1559c7 /usr/sbin/init
docker run -h hadoop-slave1 --name hadoop-slave1 -itd  --privileged=true --net mynetwork --ip 192.168.0.5 4eba2c1559c7 /usr/sbin/init
docker run -h hadoop-slave2 --name hadoop-slave2 -itd  --privileged=true --net mynetwork --ip 192.168.0.6 4eba2c1559c7 /usr/sbin/init
  4. 修改密码passwd root
  5. cat /etc/hosts

192.168.0.4 hadoop-master
192.168.0.5 hadoop-slave1
192.168.0.6 hadoop-slave2

重启时自动添加：cat ~/.bashrc

:>/etc/hosts cat >>/etc/hosts<<EOF
127.0.0.1 localhost
192.168.0.4 hadoop-master
192.168.0.5 hadoop-slave1
192.168.0.6 hadoop-slave2 EOF

配置机器间免密登陆

  1. 修改ssh配置
    /etc/ssh/sshd_config文件中开启：
    PubkeyAuthentication yes
  2. 重启ssh服务
    systemctl restart sshd.service
  3. 创建ssh key
    ssh-keygen -t rsa

连续回车，最终会在/root/.ssh目录下生成id_rsa和 id_rsa.pub文件。
上述操作每台机器执行一次（1-3）

  1. 合并公钥
    登陆hadoop-master，在/root/.ssh目录下执行以下命令，将a0的公钥追加到authorized_keys文件中(如果authorized_keys不存在会新建)：

    cat id_rsa.pub>> authorized_keys

    将hadoop-slave1的公钥加到hadoop-master中。

    ssh root@192.168.0.5 cat ~/.ssh/id_rsa.pub>> authorized_keys

    输入hadoop-slave1的密码即可拷贝公钥到hadoop-master的authorized_keys中。同上拷贝hadoop-slave2的公钥到hadoop-master中。

    此时vim /root/.ssh/authorized_keys 如下图所示：

在这里插入图片描述

将hadoop-master中的公钥发送至两台从节点。完成免密登陆配置。

如果authorized_keys不生效，再使用：ssh-copy-id -i root@ip_address

配置hadoop

hadoop安装目录：/opt/software/hadoop/hadoop-3.2.1
java目录：/opt/software/java/jdk1.8.0_181
版本：3.2.1
$HADOOP_HOME/etc/hadoop

在$HADOOP_HOME/etc/hadoop下包括hdfs-site.xml、core-site.xml、yarn-site.xml、mapred-site.xml、master、workers、hadoop-evn.xml。

配置文件修改可参照官方文档按需要配置，也可以参照网上基本配置（注意：hadoop版本不同，服务端口有变化，2.X与3.X相同页面服务，端口不同。master、workers文件名称亦有变化。自行查找配置）

初始镜像里没有hadoop和java的环境变量，是否需要配置？

配置hadoop

各文件部分已配置，修改一下
hadoop配置多机
以下修改操作均在hadoop-master上进行

修改hadoop-env.sh文件
export JAVA_HOME=/usr/local/src/jdk1.8 
export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop #添加这个
修改core-site.xml文件（不用改）
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop-master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/tmp/hadoop</value>
    </property>
</configuration>
hdfs-site.xml(不用改，保持）
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop-master:9868</value>
    </property>
</configuration>
mapred-site.xml（不用改）
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
yarn-site.xml（部分修改）
<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.env-whitelist</name>
	<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop-master</value>
  </property>
</configuration>
修改workers文件（已有）
hadoop-slave1
hadoop-slave2

修改启动脚本

hadoop启动脚本修改

cd /opt/software/hadoop/hadoop-3.2.1/sbin

在这里插入图片描述

  1. start-dfs.sh,stop-dfs.sh(前者已有，后者需添加）添加以下：
    HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
  2. 修改start-yarn.sh，stop-yarn.sh
    YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

格式化并启动hdfs

  1. 首先配一下环境变量source /etc/profile
  2. cd /opt/software/hadoop/hadoop-3.2.1/
  3. 格式化 hadoop namenode -format
  4. cd /opt/software/hadoop/hadoop-3.2.1/sbin

关闭防火墙

关闭防火墙
镜像里没防火墙，装上试试
（不装也打不开网页……）
resource

多种模式

在这里插入图片描述

单机模式

[本地模式环境搭建](https://blog.csdn.net/Yal_insist/article/details/123750149）
官方配置教程

测试例子

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount ./wcinput ./wcoutput

mkdir input
cp etc/hadoop/.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.3.jar grep input output ‘dfs[a-z.]+’
$ cat output/
hadoop-mapreduce-examples-3.1.3.jar:一个案例，里面有多个函数
wordcount包中的其中一个功能
./wcinput输入文件
./wcoutput输出文件
都在本地，无需设置

问题1：找不到本地lib
解决1：设置环境变量

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_HOME=/home/hadoop/hadoop-3.2.1
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR:$HADOOP_HOME/share/hadoop"

解决了warn，但仍无法运行
报错：

java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.                                 
at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:116)                  
at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:109)
...
 at org.apache.hadoop.util.RunJar.run(RunJar.java:323)                                
 at org.apache.hadoop.util.RunJar.main(RunJar.java:236)

解决：添加配置：etc/hadoop/mapred-site.xml

<property>
       <name>mapreduce.application.classpath</name>
       <value>$HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/mapreduce/lib/*</value>
</property>

问题3：datanode未启动
解决：hdfs --daemon start datanode

问题4：.InvalidInputException: Input path does not exist

hadoop fs -put wcintput /

上传成功了，但还是找不到。。。。
此时文件在：hdfs://hadoop-master:9000/wcinput

hadoop fs -put wcintput /user/root

上传成功了，这个是hadoop jar默认找的路径

以及因为没有成功关掉slave1和slave2中的nodemanager，此时是集群模式……
不是我以为的单机

宿主机连接容器网络

宿主机连接容器网络

  1. 找到宿主机中docker的网络：172.29.16.1 掩码未255.255.240.0
    在这里插入图片描述
  2. 在docker的设置中找到子网设置：设为172.29.16.0/28。和1的掩码一致
    在这里插入图片描述
  3. 管理员模式设置route：route -p ADD 192.168.0.0 MASK 255.255.255.240 172.29.16.2 注意这里的172.29.16.2
  4. 设置成功后，相当于docker0=172.29.16.1
    通过这个ip，可在宿主机中访问容器，在容器中访问宿主机，都是可以ping通这个ip的
  5. 在宿主机的网页中，此时可以访问页面了，前面创建时，已经设置了端口映射

http://172.29.16.1:8088/cluster
在这里插入图片描述
端口：
在这里插入图片描述

docker网络介绍
宿主机ssh访问容器：172.29.16.1:1022
需要添加端口映射-p 1022:22

叶落叶子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
hadoop3.2.0在window10 安装插件（bin文件夹和etc文件夹）
09-01
window10系统中hadoop3.2.0所需插件和配置文件（bin文件夹和etc文件夹）。bin文件夹（是使用管理员权限解压winutils-master3.2.0.rar文件后，得到bin文件夹，将其复制到（是合并，而不是完全替换）得到的）替换掉hadoop安装目录的bin文件夹。将etc文件夹替换掉hadoop 安装目录下的etc文件夹。环境变量配置文件。
Docker学习：容器五种(3+2)网络模式 | bridge模式 | host模式 | none模式 | container 模式 | 自定义网络模式详解
热门推荐
血煞长虹 的专栏
01-12 2万+
本讲是从Docker系列讲解课程，单独抽离出来的一个小节，重点介绍容器网络模式， 属于了解范畴，有助于更好的理解Docker的容器之间的访问逻辑。 疑问：为什么要了解容器的网络模式？ 前言 首先，容器之间虽然不是物理隔离，但是它们彼此之间默认是不互联互通的，这也有助于保持每个容器的纯粹性，相互之间互不影响。 其次，既然使用了容器，通常情况下，容器需要与宿主机通信，或者A容器与B容器通信而B不需要知道A的存在，或者A/B两容器相互通信。 从而，就引出了本节内容，他们相互通信，就绕不开容器的网络模式
【记录】docker笔记（六）：Docker网络-bridge网络（1）
最新发布
dopapapa的博客
05-16 1675
通过上述容器间连接案例，相信已经对bridge网络有了更深刻的理解。
如何配置Docker网络的Bridge模式？看这里
一一哥
03-02 2433
最近有几个已经就业的小伙伴，过来问壹哥关于Docker网络配置的问题，他们在实际开发中还是有些疑问。其实关于Docker网络这一块的内容确实很多，为了让大家搞清楚这个问题，壹哥准备搞几篇系列文章，来为各位小伙伴解惑。这次壹哥带来的是Docker网络的Bridge模式，接下来我们直接上干货！！！Docker容器和服务之所以强大的原因之一，是可以将它们连接在一起，或者将它们连接到非Docker的工作负载上。而Docker容器和服务甚至都不需要知道它们部署在Docker容器上。
Windows docker网络详解
hsh241817的博客
02-05 1426
windows上的"Docker0"。"Docker0"如何实现容器间的通信？Docker配置自定义网络。
windows下安装hadoop的依赖库winutils
03-09
在Windows环境下搭建Hadoop分布式框架时，一个必不可少的步骤就是安装Hadoop的依赖库——WinUtils。这个库是Hadoop在Windows系统上运行所必需的，因为它提供了与Linux系统中`hadoop`命令类似的功能。本文将详细介绍...
windows环境下的hadoop3.1.0依赖，winutils
05-23
在Windows环境下搭建Hadoop 3.1.0的分布式文件系统需要解决一个重要依赖——WinUtils。这个组件是Hadoop在Windows上运行所必需的，因为Hadoop原本是为Linux环境设计的，它的一些核心功能，如文件操作和本地进程管理...
Hadoop Windows系统安装包 和 winutils的文件
01-09
在Windows上安装和配置Hadoop可能比在Linux上复杂，但通过以上步骤，你应该能够在Windows环境中运行Hadoop，进行大数据处理。在实际应用中，Hadoop常与其他大数据工具如Hive、Pig、Spark等结合使用，构建更强大的...
Windows环境安装Hadoop.docx
04-26
### Windows环境下安装与配置Hadoop知识点详解 #### 一、前言 Hadoop是一个开源软件框架，用于分布式存储和处理...通过上述步骤，您可以在Windows环境下成功安装和配置Hadoop，为学习大数据处理技术打下坚实的基础。
windows10 搭建最新的 hadoop 3.1.3 和 hbase 2.2.2 测试环境 配置文件
01-19
在Windows 10环境下搭建Hadoop 3.1.3和HBase 2.2.2测试环境是一项技术性较强的任务，涉及到多个组件的安装、配置以及相互间的协同工作。以下将详细介绍如何进行这一过程，以及相关的配置文件作用。 首先，我们需要...
Docker 配置网络使用bridge网络的方法
09-30
本篇文章主要介绍了Docker 配置网络使用 bridge 网络的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
4.Docker网络配置
m0_60413225的博客
02-21 1292
网络相关 IP 子网掩码 网关 DNS 端口号 子网掩码 互联网是由许多小型网络构成的，每个网络上都有许多主机，这样便构成了一个有层次的结构。 IP地址在设计时就考虑到地址分配的层次特点，将每个IP地址都分割成网络号和主机号两部分，以便于 IP地址的寻址操作。 子网掩码是“255.255.255.0”的网络： 最后面一个数字可以在0~255范围内任意变化，因此可以提供256个IP地址。但是实际可用的IP地 址数量是256-2，即254个，因为主机号不能全..
Docker中的bridge模式，可以这么设置
威哥爱编程，一个坚持研究技术的80后老鸟，擅长后端、AI 大模型、鸿蒙等技术体系，愿与你在技术路上一起成长！
12-13 2044
Docker容器和服务之所以强大的原因之一，是可以将它们连接在一起，或者将它们连接到非Docker的工作负载上。docker启动一个容器会根据docker网桥的网段，分配给容器一个ip地址，称为container-ip。docker网络作为整个docker体系中极为重要的一个知识点，在生产中经常被用到，尤其是网络模式当中的bridge模式和host模式更是应该重点掌握。docker网桥是每个容器的默认网关，同一台宿主机内的容器都会接入一个网桥，这样容器之间就能通过container-ip进行通信了。
学习hadoop遇到的问题（hadoop namenode -format 格式化失败及解决方案）
小马哥的博客
03-07 1万+
1. 使用命令hadoop namenode -format 对namenode进行格式化，报错如下所示： [hadoop@bj05-ops-photo04 bin]$ ./hadoop namenode -format DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the h...
win10 安装 hadoop 3.3.1报错 Unable to load native-hadoop library
gs80140的专栏
10-24 2190
winutils.exe, hadoop.dll 放到 %HADOOP_HOME%\bin 目录, 有时可能需要将 hadoop.dll 放到 C:/Windows/System32 目录, 我验证了一下, 只需要放在bin目录即可, 不可以仅放system32,仅放这里没效果, 放 %HADOOP_HOME%\bin 目录 很重要, 再将重启命令行执行。网上的很多方法,有点乱,找篇很细致的讲解放这里, 其实主要是没有启动hadoop。安装好hadoop后, 配置了HADOOP_HOME, Path。
Win10下Hadoop3.2.1的安装与配置
wynlnlhhjy的博客
07-12 4026
准备工作 安装hive的前提是安装好JDK、hadoop、mysql。 1、安装JDK，并配置好JDK环境 参考：https://blog.csdn.net/pu329289309/article/details/104883458/ 安装好后检验： 2、安装Hadoop： 下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/ 选择下方第二个： ...
win10 环境下编译hadoop3.2.1 可能遇到的问题以及解决办法
qq_33326770的博客
06-10 1918
win10环境下编译hadoop3.2.1可能遇到的问题以及解决办法（找不到jar包）： 环境要求： 打开hadoop-3.2.1-src源码包，下方有一个BUILDING文件，右键文本文档格式打开，向下拉会看到如图所示在win系统下的环境要求，这些文件其他博客都给的有链接，我也是直接下载的。 环境装好以后！！！！重点来了！！！！要注意的一些问题！！！！！： 1、用“管理员权限”打开vs2010的vs x64兼容工具命令提示，然后进行命令操作。 2、hadoop源码包以及mvn本地仓库的路径要尽可能的短，其
Docker实战之（七）安装centos容器，手动安装tomcat、jdk
qq_29384639的博客
06-28 648
参考：https://www.jianshu.com/p/59e0a8828b3b，根据自己实际操作整理 拉取centos镜像 docker pull centos 查询镜像id标识 docker images 启动容器 docker run -i -t -v /root/software/:/mnt/software/ 9f38484d220f /bin/bash ...
docker- compose 部署 RabbitMQ_docker-compose rabbitmq
2401_84159966的博客
04-15 856
查看15672端口是否开放（如果没有连带5673一起开启）比如 http://127.0.0.1:15672。如果上面没有配置密码默认 账号密码都为guest。确认容器是否运行，如果没有换一个镜像。docker ps 检查容器是否启动。进入容器内 xxx容器名称/id。启动管理插件 在容器内运行!参看ip地址是否正确。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值