大数据之Hadoop——2Hadoop运行集群搭建超详细（超长博客！！！创建hadoop环境虚拟机，克隆虚拟机，集群搭建，文件同步，免密传输，日志配置，集群时间同步）

最新推荐文章于 2024-04-18 16:47:41 发布
最新推荐文章于 2024-04-18 16:47:41 发布
阅读量2.1k 收藏 1
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16481211/article/details/118373539
版权

1 准备工作

1.1 模板虚拟机环境准备

1.1.1 总体思路

安装模板虚拟机，IP地址 192.168.10.100、主机名称hadoop100、内存、4G、硬盘50G。
为什么要搭建模板虚拟机：
搭建完一个虚拟机后，可以直接拷贝多个虚拟机，不需要重复的安装过程。

这个过程为：
先配置虚拟机环境，类似于计算机硬件；
安装centos系统，类似于硬件中安装软件系统；
最后配置IP和主机名称。
在这里插入图片描述

1.1.2 配置VMare

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
添加系统盘
在这里插入图片描述

1.1.3 安装操作系统在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.1.4 配置IP

编辑->虚拟网络编辑器
在这里插入图片描述
在这里插入图片描述
vim /etc/sysconfig/network-scripts/ifcfg-ens33
在这里插入图片描述

1.1.5 修改主机名称

vim /etc/hostname
在这里插入图片描述
主机名称映射：将IP地址映射为一个名字
vim /etc/hosts
在这里插入图片描述
配置完成后重启系统。

1.1.6 xshell远程访问

修改/etc/ssh/ssh_config配置文件
添加下面三行：

Port 22
PermitRootLogin yes
PasswordAuthentication yes

其中PermitRootLogin可以限定root用户通过ssh的登录方式，如禁止登陆、禁止密码登录、仅允许密钥登陆和开放登陆，以下是对可选项的概括：

参数类别是否允许ssh登陆登录方式交互shell
yes允许没有限制没有限制
without-password允许除密码以外没有限制
forced-commands-only允许仅允许使用密钥仅允许已授权的命令
no不允许N/AN/A

启动ssh-server

/etc/init.d/ssh restart

在这里插入图片描述
在centos上启动ssh服务，在xshell上连接。

1.1.7 配置虚拟机

yum install -y epel-release

关闭防火墙：
systemctl stop firewalld
关闭防火墙重启服务：
systemctl disable firewalld.service

创建atguigu用户，设置密码
useradd atguigu
passwd atguigu

vim /etc/sudoers
在这里插入图片描述
切换到atguigu用户，创建module(安装软件包)，software文件夹：
su atguigu
sudo mkdir module
sudo mkdir software
sudo chown atguigu:atguigu module/ software/

删除JDK：
rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

reboot

1.2 克隆虚拟机

克隆三份系统，修改IP和主机名称
在这里插入图片描述
右键->管理->克隆
在这里插入图片描述

在这里插入图片描述
重复操作，创建三个虚拟机。
启动三台虚拟机，修改ip地址和主机名字。重复三次。
sudo vim /etc/hostname
sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33
在这里插入图片描述
配置完后全部重启（必须要重启，否则参数无法生效）
用xshell连接所有虚拟机。
在这里插入图片描述

1.3 安装Hadoop

vim /etc/profile
系统环境遍历配置文件，会从/etc/profile.d中读取所有的shell脚本并运行。
在这里插入图片描述
为了不影响其他环境变量，我们在profile.d中新建一个myevn.sh脚本。

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

编辑完后让环境变量生效：

source /etc/profile

执行 hadoop version，
在这里插入图片描述
说明安装成功。

2 Hadoop运行模式

本地模式、伪分布模式和完全分布式模式的区别以及应用场景：
在这里插入图片描述

  • 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用；
  • 伪分布式模式：单机运行，具备Hadoop的所有功能，一台服务器模拟一个分布式环境，个别缺钱公司用来测试，生产环境不用。
  • 完全分布式模式：多台服务器组成分布式环境，生产环境使用。

2.1 本地运行模式

运行一个官方WordCount例子：
1）在hadoop路径下：mkdir wcinput
2）cd wcinput
3）vim word.txt

ss ss
cls cls
bobo
yangge

4）hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount wcinput/ ./wcoutput
生成输出结果：wcoutput/part-r-00000

bobo	1
cls	2
ss	2
yangge	1

2.2 完全分布式运行模式

1）准备3台客户机
2）安装JDK
3）配置环境变量
4）安装Hadoop
5）配置环境变量
6）配置集群
7）单点启动
8）配置ssh
9)群起并测试集群

2.2.1 编写集群分发脚本xsync

功能：编写一个脚本，将hadoop102服务器的JDK与Hadoop拷贝到其他两台服务器上。
在这里插入图片描述

2.2.1.1 scp（secure copy）安全拷贝

(1) scp定义
scp可以实现服务器与服务器之间的数据拷贝
(2) 基本语法
scp -r $pdir/$fname $user@$host:/$fname
命令 递归 拷贝的文件路径/名称 目的地用户@主机：目的路径/名称
(3) 案例实操：

  • step1
    前提：确保服务器上都创建好了/opt/module、/opt/software两个目录，并且把这两个目录修改为atguigu:atguigu
sudo chown atguigu:atguigu -R /opt/module
  • step2
    将/opt/module/jdk1.8目录拷贝到hadoop103上
scp -r /opt/module/jdk1.8 atguigu@hadoop103:/opt/module

在hadoop102命令行中，将hadoop103上的/opt/module/jdk1.8目录拷贝到hadoop104上

scp -r atguigu@hadoop103:/opt/module/jdk1.8 atguigu@hadoop104:/opt/module
2.2.1.2 rsync远程同步工具

rsync主要用于备份和镜像，且速度快，避免复制相同内容和支持符号链接的优点。
（1）基本语法

rsync -av $pdir/$fname $user@host:$pdir/$fname

-a表示归档拷贝
-v表示显示复制过程

（2）实际操作

  • 删除 hadoop103中/opt/module/hadoop/wcinput
rm -rf wcinput

同步hadoop102中的/opt/module/hadoop到hadoop103中

rsync -av hadoop atguigu@hadoop103:/opt/module/hadoop/

同步命令效率更高效。

2.2.1.3 xsync集群分发脚本

（1）需求：循环复制文件到所有节点
（2）需求分析：

  • rsync命令原始拷贝
  • 期望脚本：xsync要同步文件名称
  • 期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）
/home/atguigu/bin

（3）脚本实现

  • 在/home/atguigu/bin目录下创建xsync文件
    在该文件中编写代码
#!/bin/sh

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Argument!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ================== $host ===================

    #3. 遍历所有目录，挨个发送
    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd) # -P 进入上一级目录

                #6. 获取当前文件名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir" # -p 不管是否存在都会创建
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file dose not exits!
        fi
    done
done
2.2.1.4 ssh无密登录配置

（1） ssh命令

ssh hadoop103

输入exit退出。

（2）免密登录原理

  • step1
    有两台服务器A，B。
    用ssh-key-gen生成密钥对，一个是公钥，一个是私钥。私钥始终掌握在自己服务器中，不能给别人。公钥可以拷贝给对方。
  • step2
    我们将A服务器的公钥拷贝到B服务器上。
    -step3
    A服务器通过ssh访问B服务器，数据用私钥A进行了加密。
  • step4
    服务器A收到数据后，去授权key中查找A的公钥，并解密数据。
  • step5
    服务器B公钥加密的数据返回给A
  • step6
    接收到数据后，用A的私钥解密数据
    在这里插入图片描述
    （3） 配置
  • atguigu用户
    在/home/atguigu/.ssh
    在三台服务器上都配置一遍
ssh-keygen -t rsa
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104
  • root用户
    在/root/.ssh中执行一遍命令
ssh-keygen -t rsa
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104

这样在root用户和atguigu用户都可以免密ssh登录了。

使用xsync 命令测试

$ xsync test1.txt test2.txt

在这里插入图片描述

3 集群配置

3.1 集群部署规划

  • NameNode 和 SecondaryNameNode不要安装在一台服务器,因为这两个都比较耗内存。
  • ResourceManager很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。
hadoop102hadoop103hadoop104
HDFSNameNode DataNodeDataNodeSecondaryNameNode
YARNNodeManagerResourceManager NodeManagerNodeManager
  1. 配置文件说明
    Hadoop配置文件两类：默认配置文件和自定义配置文件
    只有用户想修改某一默认配置值时，才需要修改自定义胚子文件，更改相应属性值。

（1） 默认配置文件：

要获取的默认文件文件存放在Hadoop的jar包中的位置
[core-default.xml]hadoop/hadoop-project-dist/hadoop-common/core-default.xml
[hdfs-default.xml]share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
[yarn-default.xml]hadoop/share/doc/hadoop/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
[mapred-default.xml]hadoop/share/doc/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

3.2 自定义配置文件：

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在SHADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求进行修改配置。

  1. 配置集群
    (1) 核心配置文件
    配置core-site.xml
vim hadoop/etc/hadoop/core-site.xml

<configuration>
    <!--Set NameNode address -->
    <property>
        <name>fs.defaultFS</name>
        <!--协议为hdfs -->
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!--Set hadoop data store path -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop/data</value>
    </property>

    <!--Set HDFS webpage login static user as atguigu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>atguigu</value>
    </property>

</configuration>

配置hdfs-site.xml

<configuration>
    <!-- nn web address -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>

    <!-- 2nn web address -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <!-- set MR by shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- set ResourceManager address -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- environment value -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

3.3 群起集群

3.3.1 修改workers

vim /opt/module/hadoop/etc/workers

hadoop102
hadoop103
hadoop104

同步所有服务器文件。

xsync /opt/module/hadoop/etc

3.3.2 启动集群

(1) 如果集群是第一次启动
需要在hadoop102节点格式化NameNode
注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到以往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化

hdfs namenode -format

在这里插入图片描述
生成了data文件夹，
在data/dfs/name/current路径下，有四个文件。

使用xsync 同步三个服务器的etc文件夹。

xsync /opt/module/hadoop/etc

(2) 启动HDFS

sbin/start-dfs.sh

输出：
在这里插入图片描述
显示namenode是hadoop102,secondary namenodes是hadoop104.

在web页面查看：
在这里插入图片描述

(3) 在配置了ResourceManager的节点（hadoop103）启动YARN

start-yarn.sh

使用jps命令查看java进程
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
和下图的启动内容是一致的
在这里插入图片描述
在浏览器输入： 192.168.10.103:8088
在这里插入图片描述

3.3.3 集群基本测试

（1）上传文件到集群

  • 上传小文件
    在hadoop102上执行：
hadoop fs -mkdir /wcinput

http://192.168.10.102:9870/explorer.html
在这里插入图片描述

  • 上传大文件
hadoop fs -put wcinput/word.txt /wcinput

在这里插入图片描述

（2）上传文件后查看文件存放在什么位置
在这里插入图片描述
（3）拼接

cat blk_1073741826 >> tmp.tar.gz
cat blk_1073741827 >> tmp.tar.gz

（4）下载

hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

在这里插入图片描述

3.3.4 配置历史服务器

查看程序的历史运行情况。
（1）配置mapred-site.xml

<!-- 历史服务器地址，每部服务器交互数据 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>
<!-- 历史服务器web端地址 ，用户与服务器交互数据 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

（2）xsync分发配置
（3）hadoop102启动历史服务器

mapred --daemon start historyserver

（4）查看历史服务器是否启动

jps

（5）查看历史服务器

192.168.100.102:19888/jobhistory

3.3.5 配置日志

日志：应用程序运行完后，将程序运行信息上传到HDFS系统上。
在这里插入图片描述

（1）配置yarn-site.xml

vim yarn-site.xml

在该文件里面增加如下配置：

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

（2）分发配置

xsync /opt/module/hadoop/etc/hadoop/yarn-site.xml

（3）关闭NodeManager、ResourceManager和HistoryServer
在hadoop102机器上执行

stop-yarn.sh
start-yarn.sh
mapred --daemon start historyserver

（4）访问网址

http://192.168.10.102:19888/logs/

在这里插入图片描述

3.3.6 集群启动停止方式总结

  1. 各个模块开启或停止（前提需要配置ssh免密传出登录）
    （1）整体启动停止HDFS
start-dfs.sh/stop-dfs.sh

（2）整体启动停止YARN

start-yarn.sh/stop-yarn.sh
  1. 各个服务器组件逐一启动/停止
    （1）分别启动/停止HDFS组件
hdfs --deamon start/stop namenode/datanode/secondarynamenode

（2）启动停止YARN

yarn --deamon start/stop resourcemanager/nodemanager

3.3.7 编写Hadoop集群常用脚本

  1. Hadoop集群启动停止脚本（包含HDFS，YARN，Historyserver）:myhadoop.sh
cd /home/atguigu/bin
vim myhadoop.sh

输入如下内容：

#!/bin/bash
if [ $# -lt 1 ]
then
	echo "No args input ..."
	exit;
fi

case $1 in
"start")
	echo "============== 启动 hadoop 集群 ================"
	echo "-------------------启动 hdfs-------------------"
	ssh hadoop102 "/opt/module/hadoop/sbin/start-dfs.sh"
	echo "-------------------启动 yarn-------------------"
	ssh hadoop103 "/opt/module/hadoop/sbin/start-yarn.sh"
	echo "--------------启动 historyserver---------------"
	ssh hadoop102 "/opt/module/hadoop/bin/mapred --daemon start historyserver"
;;
"stop")
	echo "================关闭 hadoop集群==================="
	echo "--------------关闭 historyserver---------------"
	ssh hadoop102 "/opt/module/hadoop/bin/mapred --daemon stop historyserver"
	echo "------------------关闭 hdfs---------------------"
	ssh hadoop102 "/opt/module/hadoop/sbin/stop-dfs.sh"
	echo "------------------关闭 yarn---------------------"
	ssh hadoop103 "/opt/module/hadoop/sbin/stop-yarn.sh"
;;
*)
	echo "Input args error..."
;;
esac

修改为可执行权限，运行。

  1. 查看三台服务器Java进程
cd /home/atguigu/bin
vim jpsall.sh

输入内容：

#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
do
	echo "=============host=============="
	ssh $host jps
done

保存后添加可执行权限

sudo chmod +x jpsall

分发到其他三台服务器上

xsync /home/atguigu/bin/

运行后效果如下（非常的方便）：
在这里插入图片描述

3.3.8 端口号总结

端口名称Hadop2.xHadoop3.x
NameNode内部通信端口8020/90008020/9000/9820
NameNode HTTP UI500709870
MapReduce 查看执行任务端口80888088
历史服务器通信端口1988819888

3.9 集群时间同步

所有机器都和102进行时间同步。

  1. 查看所有节点ntpd服务状态和开机自启动状态
sudo systemctl status ntpd
sudo systemctl start ntpd
sudo systemctl is-enabled ntpd
  1. 修改hadoop102的ntp.conf配置文件
sudo vim /etc/ntp.conf

修改如下内容：
（1） 授权192.168.10.0 - 192.168.10.255 网段上所有机器可以从这台机器上查询和同步时间。
修改 restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap 为restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap
（2）注释这些代码，意味着不需要外网的服务器来对102进行时间同步。

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

（3）当节点丢失网络了解，仍然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步。

server 127.127.1.0
fudge 127.127.1.0 stratum 10
  1. 修改hadoop102的/etc/sysconfig/ntpd文件
sudo vim /etc/sysconfig/ntpd

让硬件时间与系统时间一起同步

SYNC_HWCLOCK=yes
  1. 重启ntpd服务
sudo systemctl start ntpd
  1. 设置ntpd服务开机启动
sudo systemctl enable ntpd
  1. 配置其他机器（使用root用户）
  • 关闭所有节点上ntp服务和自启动
sudo systemctl stop ntpd
sudo systemctl disable ntpd
  • 其他机器配置1分钟与时间服务器同步一次
sudo crontab -e

编写定时任务如下：

*/1 * * * * /usr/sbin/ntpdate hadoop102
  • 修改任意机器时间
sudo date -s "2021-7-5 11:11:11"
  • 1分钟后看机器时间是否与时间服务器同步
sudo date

在这里插入图片描述

4 常见错误及解决方案

  • 1 防火墙没关闭、或者没有启动YARN

  • 2 主机名称配置错误

  • 3 IP地址配置错误

  • 4 ssh没有配置好

  • 5 root用户和atguigu两个用户集群不统一

  • 6 配置文件修改不细心

  • 7 不识别主机名称
    解决办法：
    （1）在/etc/hosts文件中添加192.168.10.102 hadoop102
    （2）不要起hadoop，hadoop000等特殊名称

  • 8 DataNode和NameNode进程同时只能启动工作一个。
    -
    原因：
    NameNode在初始化后会生成一个clusterId,DataNode启动后也会有一个和NameNode一样的id，如果某个时刻NameNode宕机挂掉时，错误地直接开启一个新的NameNode，生成新的clusterid，与未删除的DataNode的clusterid不一致，导致该问题出现。
    解决办法：
    在格式化前，杀死所有DataNode进程，删除data下的log和/tmp下的DataNode信息。

  • 9 jps发现进程已经没有，但是重新启动集群，提示进程已开启。
    linux在/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。

  • 10 jps不生效
    全局变量hadoop java没生效，解决办法：需要 source /etc/profile文件。

  • 11 8088端口连接不上
    cat /etc/hosts
    注释掉如下代码：
    在这里插入图片描述

南山二毛
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
大数据Hadoop环境的搭建
IPliuxun的博客
11-17 160
大数据Hadoop环境的搭建 `mermaid flowchat st=>注意事项 e=> 1：确认VM五个服务开启 2:确认VMware生成的网关地址
大数据之hadoop运行环境搭建
a18379692263的博客
11-07 412
1、虚拟机环境准备 安装centos7，ip地址192.168.19.100、主机名称hadoop100、内存4G 2、设置虚拟机和本地网络的连接状态 将VM中的【编辑】-->【虚拟网络编辑器】进NAT设置 再到本机的网络连接处修改ip地址与虚拟机中对应（保证 Linux 系统 ifcfg-ens33 文件中 IP 地址、虚拟网络编辑器地址和 Windows 系 统 VM8 网络 IP 地址相同） 同时，将虚拟机中的...
[hadoop全分布部署]安装Hadoop、配置Hadoop 配置文件①_#修改配置文件hadoop-env
最新发布
2401_84253132的博客
04-18 993
***改成********export HADOOP_HOME=/opt/module/****
【小白视角】大数据基础实践(一)搭建Hadoop集群
面向生活编程
05-29 2630
大数据实践第一篇，面向小白编程 Ubuntu的操作 1.下载文件 1.1下载ubuntu镜像文件 注：推荐使用16.04或是18.04版本 下载地址链接pub.mirrors.aliyun.com 进入下载页面，如下图，选择版本进入选择 ubuntu-X.X.X-desktop-amd64.iso 下载即可 1.2 下载及安装VMware 百度搜索随便安装即可，建议安装到磁盘比较大的地方，其他选择默认就可以了，网上找找破解码即可。 1.3在VMware安装Ubuntu 选择下载的iso文件 然后随便
Hadoop--克隆3x虚拟机
FunnyPrince_的博客
05-27 502
1.先关闭客户机； 2.右键要克隆的虚拟机–管理–克隆–>虚拟机中的当前状态–>创建完整克隆–>新虚拟机名称/位置–>完成 3.克隆完成后，输入：vim /etc/sysconfig/network-scripts/ifcfg-ens33; 进入Hadoop102修改ip：IPADDR=192.168.10.102； 4.查看主机名称：vim /etc/hostname; 将主机名称修改成hadoop102； 5.输入 vim /etc/hosts;查看模板虚拟机； i
CentOS7云服务器搭建伪分布式hadoop-3.0.3
Eleina的博客
08-25 504
云服务器搭建hadoop伪分布集群
基于centos的大数据hadoop集群搭建说明文档
10-30
【标题】：基于CentOS的大数据Hadoop集群搭建详解 【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式...
大数据集群虚拟机-环境搭建-导入vmware直接使用
03-18
1、三个节点，含多种环境快照 2、环境包含Hadoop、Hive、Zookeeper、Spark、Kafka、Hbase、ES、scala、jdk、mysql 3、最大资源占用：6核cpu、7G内存、90G磁盘容量
hadoop集群搭建(超级详细)
10-11
本文将详细讲解如何搭建一个Hadoop集群，包括虚拟机安装、环境配置、Hadoop和Zookeeper的安装及集群验证。以下是对每个步骤的详细说明： 一、虚拟机安装与配置 在搭建Hadoop集群之前，首先需要准备多台虚拟机。可以...
Hadoop虚拟机搭建Hadoop-3.3.0集群环境
06-07
在构建Hadoop虚拟机集群环境时，我们首先要理解Hadoop的核心概念和作用。Hadoop是一个开源的分布式计算框架，由Apache基金会开发，主要用于处理和存储海量数据。它基于Google的MapReduce编程模型和GFS（Google文件...
CentOS 7+Hadoop-2.7.2的hadoop环境搭建（一）快速创建第一台虚拟机和环境准备
01-09
Hadoop环境搭建（一）虚拟机快速创建和环境准备搭建所使用的环境和软件：创建虚拟机(VM)完成虚拟机创建配置后给VM安装操作系统如果时间不对，设置时区和时间同步将一台虚拟机ip修改为静态ip,和修改主机名字用Xshell...
尚硅谷大数据开发Day02
浮生若梦
04-06 2929
这个博客是学习尚硅谷大数据课程所作的笔记，课程原地址可以访问https://www.bilibili.com/video/BV1Qp4y1n7EN?p=7&spm_id_from=pageDriver，感谢尚硅谷免费提供的课程资料，同时感谢尚硅谷大海老师的讲解。 第 1 章 Hadoop 概述 1.1 Hadoop 是什么 1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2）主要解决，海量数据的存储和海量数据的分析计算问题。 3）广义上来说，Hadoop..
hadoop集群搭建（超详细版）
热门推荐
code__online的博客
05-03 10万+
1.准备好需要安装的软件 虚拟机VMware12.pro 操作系统CentOS 6.5 远程控制虚拟机的终端SecureCRT8.1 2.在虚拟机中安装CentOS操作系统 安装好虚拟机，图形界面如下图 创建新的虚拟机，选择自定义（高级），点击下一步 虚拟机硬件兼容性默认，浏览需要安装的CentOS6.5镜像文件 自定义用户名和密码（用于登录） 设置虚...
搭建hadoop集群(两台)，详细教程
zb199738的博客
06-12 4175
所需工具： centos7，SecureCRT ，hadoop centos7安装教程 https://blog.csdn.net/qq_44714603/article/details/88829423 SecureCRT安装教程 https://blog.csdn.net/luoyir1997/article/details/80236570 SecureCRT ，hadoop网盘地址 链接：https://pan.baidu.com/s/1KrLSyWWnx3VNVB8qpk7jHA 提取码：hd73
Hadoop2.7.5集群搭建
QYHuiiQ
03-10 2831
文档： https://hadoop.apache.org/docs/r1.0.4/cn/ 下载hadoop: https://hadoop.apache.org/releases.html 可以下载最新版本，也可以在网站中找到发布记录里自己想要的版本，这里我下载的是hadoop-3.3.0.tar.gz版本。 ...
Hadoop 2分布式集群环境搭建
weixin_42738879的博客
11-03 869
一台Ubuntu主机作Master,一台Ubuntu主机做slave01,一台Ubuntu主机做slave02。三台主机机器处于同一局域网下。 修改三台机器的/etc/hosts文件,添加同样的配置： sudo vim /etc/hosts 192.168.0.10 master 192.168.0.11 slave01 192.168.0.12 slave02 配置ssh无密码登录本机和访问集群机器 在三台虚拟机中，使用以下命令安装 ssh： sudo apt-get install o
大数据学习1（Hadoop环境搭建）
sly1311220942的博客
08-21 792
一.部署虚拟机 1. 过程略过 VMware安装Centos7 2. 部署2台 二.配置虚拟机 虚拟机网络 1.虚拟机网络采用仅主机模式。 安装时选择网络时选择，或者装好后重新设值。 2.设置主机VMware Virtual Ethernet Adapter for VMnet1 3.配置静态IP 编辑配置文件 vim /etc/sysconfig/network-scripts/ifcfg-ens33 机器一 TYPE=Ethernet PROXY_METHOD=none BROWSER_O
Hadoop学习之web查看HADOOP以及文件的上传和下载
a2957827124的博客
03-30 5117
Hadoop之web查看HADOOP以及文件的上传和下载
信创迁移适配预研-达梦数据库DM8服务与客户端工具安装使用
Heartsuit的博客
03-19 777
背景 凡事预则立 听说我们的项目将来要部署到国产化平台上，数据库用的是达梦数据库，国产的这些组件也没有用过，就想着在虚拟机安装数据库服务（因为是在 CentOS7 上安装测试，所以图形化客户端无法使用，可以通过在远程/宿主 Windows 主机上选择仅安装客户端使用，eg：DM管理工具，DM数据迁移工具等），先研究下国产数据库的使用，包括基础的 CRUD 操作以及事务支持，方便将来的部署与维护。 由于本系列文章仅用于记录当时项目的国产化迁移过程，不涉及太多的理论内容，基本都是一系列的操作过程，所以行文

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

南山二毛

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值