Hadoop集群搭建（7个节点）

最新推荐文章于 2024-08-04 13:23:56 发布
最新推荐文章于 2024-08-04 13:23:56 发布
阅读量2k 收藏 2
点赞数 1
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/briup_acmer/article/details/53364378
版权
谨记：不要使用root账户，使用hadoop账户


sudo 切换到root用户只执行一条命令
sudo vi /etc/inittab
id:3:initdefault:
让系统在启动时不要启动图形界面，把级别改为三
在执行之前需要把hadoop 用户添加到 
vi /etc/sudoers 
root    ALL=(ALL)       ALL
hadoop  ALL=(ALL)       ALL


1.准备Linux环境
1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet8 NAT模式 ->修改NAT设置 设置网关：192.168.8.1 子网掩码：255.255.255.0 -> apply -> ok
回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet8 -> 属性 -> 双击IPv4 -> 设置windows的IP：192.168.8.100 子网掩码：255.255.255.0 -> 点击确定
在虚拟软件上 --My Computer -> 选中虚拟机 -> 右键 -> settings -> network adapter -> 自定义（VMnet8(NAT模式)） -> ok


1.1修改主机名
        sudo vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=Weekend101   


1.2修改IP
两种方式：
第一种：通过Linux图形界面进行修改（强烈推荐）
进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络 -> 点击edit按钮 ->
选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.8.101 子网掩码：255.255.255.0 网关：192.168.8.1 -> apply

第二种：修改配置文件方式（屌丝程序猿专用）
vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"
BOOTPROTO="static"               ###
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.1.101"           ###
NETMASK="255.255.255.0"          ###
GATEWAY="192.168.1.1"            ###

1.3修改主机名和IP的映射关系
sudo vim /etc/hosts

192.168.8.101 Weekend101
192.168.8.102 Weekend102
192.168.8.103 Weekend103
192.168.8.104 Weekend104
192.168.8.105 Weekend105
192.168.8.106 Weekend106
192.168.8.107 Weekend107


1.4关闭防火墙
#查看防火墙状态
sudo service iptables status
#关闭防火墙
sudo service iptables stop
#查看防火墙开机启动状态
sudo chkconfig iptables --list
#关闭防火墙开机启动
sudo chkconfig iptables off

1.5重启Linux 关机halt
reboot


2.安装JDK
2.1上传alt+p 后出现sftp窗口，然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz

2.2解压jdk
#创建文件夹
mkdir /home/hadoop/app
#解压
tar -zxvf jdk-7u79-linux-i586.tar.gz -C /home/hadoop/app

2.3将java添加到环境变量中
sudo vim /etc/profile
#在文件最后添加
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79/
export PATH=$PATH:$JAVA_HOME/bin

#刷新配置
source /etc/profile




3集群规划：
主机名 IP 安装的软件                                     运行的进程
Weekend101 192.168.8.101 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
Weekend102 192.168.8.102 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
Weekend103 192.168.8.103 jdk、hadoop ResourceManager
Weekend104 192.168.8.104 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
Weekend105 192.168.8.105 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
Weekend106 192.168.8.106 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
Weekend107 192.168.8.107 jdk、hadoop         ResourceManager

说明：
1.在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。
hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态
2.hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.4.1解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调
安装步骤：
1.安装配置zooekeeper集群（在Weekend104上）
1.1解压
tar -zxvf zookeeper-3.4.5.tar.gz -C /home/hadoop/app/
1.2修改配置
cd /home/hadoop/app/zookeeper-3.4.5/conf/
sudo mv zoo_sample.cfg zoo.cfg
sudo vim zoo.cfg
修改：dataDir=/home/hadoop/app/zookeeper-3.4.5/data
在最后添加：
server.1=Weekend104:2888:3888
server.2=Weekend105:2888:3888
server.3=Weekend106:2888:3888
保存退出
然后创建一个data文件夹
mkdir /zookeeper-3.4.5/data
再创建一个空文件
touch /zookeeper-3.4.5/data/myid
最后向该文件写入ID
echo 1 > /zookeeper-3.4.5/tmp/myid
1.3将配置好的zookeeper拷贝到其他节点(首先分别在Weekend105、Weekend106根目录下创建一个app目录：mkdir /app)
scp -r /app/zookeeper-3.4.5/ Weekend105:/home/hadoop/app/
scp -r /app/zookeeper-3.4.5/ Weekend106:/home/hadoop/app/

注意：修改Weekend105、Weekend106对应/zookeeper-3.4.5/data/myid内容
Weekend105：
echo 2 > /zookeeper-3.4.5/data/myid
Weekend106：
echo 3 > /zookeeper-3.4.5/data/myid

2.安装配置hadoop集群（在Weekend101上操作）
2.1解压
tar -zxvf hadoop-2.4.1.tar.gz -C app/
2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）
#将hadoop添加到环境变量中
sudo vim /etc/profile
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79/
export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1/
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile
#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
cd /home/hadoop/app/hadoop-2.4.1/etc/hadoop

2.2.1修改hadoop-env.sh
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79/

2.2.2修改core-site.xml
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1/</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/tmp</value>
</property>

<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>Weekend104:2181,Weekend105:2181,Weekend106:2181</value>
</property>
</configuration>

2.2.3修改hdfs-site.xml
<configuration>
<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>Weekend101:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>Weekend101:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>Weekend102:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>Weekend102:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://Weekend104:8485;Weekend105:8485;Weekend106:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/journaldata</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

2.2.4修改mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

2.2.5修改yarn-site.xml
<configuration>
<!-- 开启RM高可用 -->
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>Weekend103</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>Weekend107</value>
</property>
<!-- 指定zk集群地址 -->
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>Weekend104:2181,Weekend105:2181,Weekend106:2181</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
</configuration>


2.2.6修改slaves(slaves是指定子节点的位置，因为要在Weekend101上启动HDFS、在Weekend103启动yarn，
所以Weekend101上的slaves文件指定的是datanode的位置，Weekend103上的slaves文件指定的是nodemanager的位置)
Weekend104
Weekend105
Weekend106



2.2.7配置免密码登陆
#首先要配置Weekend101到Weekend102、Weekend103、Weekend104、Weekend105、Weekend106、Weekend107的免密码登陆
#在Weekend101上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点，包括自己
ssh-copy-id Weekend101
ssh-copy-id Weekend102
ssh-copy-id Weekend103
ssh-copy-id Weekend104
ssh-copy-id Weekend105
ssh-copy-id Weekend106
ssh-copy-id Weekend107
#配置Weekend103到Weekend104、Weekend105、Weekend106、Weekend107的免密码登陆
#在Weekend103上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点
ssh-copy-id Weekend104
ssh-copy-id Weekend105
ssh-copy-id Weekend106
ssh-copy-id Weekend107
#注意：两个namenode之间要配置ssh免密码登陆，别忘了配置Weekend102到Weekend101的免登陆
在Weekend102上生产一对钥匙
ssh-keygen -t rsa
ssh-copy-id -i Weekend101

2.4将配置好的hadoop拷贝到其他节点
scp -r app/hadoop-2.4.1 Weekend102:/home/hadoop/app/
scp -r app/hadoop-2.4.1 Weekend103:/home/hadoop/app/
scp -r app/hadoop-2.4.1 Weekend104:/home/hadoop/app/
scp -r app/hadoop-2.4.1 Weekend105:/home/hadoop/app/
scp -r app/hadoop-2.4.1 Weekend106:/home/hadoop/app/
scp -r app/hadoop-2.4.1 Weekend107:/home/hadoop/app/


#########################注意：严格按照下面的步骤##############################################################################
2.5启动zookeeper集群（分别在Weekend104,Weekend105、Weekend106上启动zk）
cd app/zookeeper-3.4.5/bin/
./zkServer.sh start
#查看状态：一个leader，两个follower
./zkServer.sh status

2.6启动journalnode（分别在在Weekend104,Weekend105、Weekend106上执行）
cd /app/hadoop-2.4.1
sbin/hadoop-daemon.sh start journalnode
#运行jps命令检验，Weekend104,Weekend105、Weekend106上多了JournalNode进程

2.7格式化HDFS
#在Weekend101上执行命令:
hdfs namenode -format
#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/app/hadoop-2.4.1/tmp，
然后将/app/hadoop-2.4.1/tmp拷贝到Weekend102的/app/hadoop-2.4.1/下。
scp -r /app/hadoop-2.4.1/tmp Weekend102:/home/hadoop/app/hadoop-2.4.1/
##也可以这样在Weekend102执行，建议hdfs namenode -bootstrapStandby

2.8格式化ZKFC(在Weekend101上执行即可)
hdfs zkfc -formatZK

2.9启动HDFS(在Weekend101上执行)
sbin/start-dfs.sh


2.10启动YARN(#####注意#####：是在Weekend103上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，
因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)
sbin/start-yarn.sh
在Weekend107手动启动resourcemanager
./yarn-daemon.sh start resourcemanager

到此，hadoop-2.4.1配置完毕，可以统计浏览器访问:
http://192.168.8.101:50070
NameNode 'weekend01:9000' (active)
http://192.168.8.102:50070
NameNode 'weekend02:9000' (standby)

验证HDFS HA
首先向hdfs上传一个文件
hadoop fs -put /etc/profile /profile
hadoop fs -ls /
然后再kill掉active的NameNode
kill -9 <pid of NN>
通过浏览器访问：http://192.168.8.102:50070
NameNode 'weekend02:9000' (active)
这个时候weekend02上的NameNode变成了active
在执行命令：
hadoop fs -ls /
-rw-r--r--   3 root supergroup       1926 2014-02-06 15:36 /profile
刚才上传的文件依然存在！！！
手动启动那个挂掉的NameNode
sbin/hadoop-daemon.sh start namenode
通过浏览器访问：http://192.168.1.201:50070
NameNode 'Weekend101:9000' (standby)

验证YARN：
运行一下hadoop提供的demo中的WordCount程序：
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out

OK，大功告成！！！





测试集群工作状态的一些指令 ：
bin/hdfs dfsadmin -report 查看hdfs的各节点状态信息


bin/hdfs haadmin -getServiceState nn1 获取一个namenode节点的HA状态

sbin/hadoop-daemon.sh start namenode  单独启动一个namenode进程

./hadoop-daemon.sh start zkfc   单独启动一个zkfc进程
briup_acmer
关注
专栏目录
Hadoop的集群配置
hhhhhhhhhhhnb的博客
05-11 438
第一步，我们进行集群的弹性扩展： 我们安装都是单机集群 1-N的集群扩张 扩张之前，需要选择一个已安装hadoop的主机，作为Master 已安装hadoop的主机清理，只保留1号机中的hadoop，以这个hadoop为准 确认所有主机已安装了jdk 确认所有主机之间，彼此ssh免密 检查所有主机是否都有公私钥 （1）：在各自的机器上面生成密钥： 　　在第1台机器上生产一对钥匙： ssh-keygen （-t rsa） 　　在第2台机器上生产一对钥匙： ssh-keygen
【Hadoop】创建Hadoop集群（3个节点）—— 安装部署一个3个节点构成的hbase集群
disy924的博客
06-27 6558
互联网的快速发展带来了数据快速增加，海量数据的存储已经不是一台机器所能处理的问题了。Hadoop的技术应运而生，对于伪分布式存储，Hadoop有自己的一套系统Hadoop distribution file system来处理，为什么分布式存储需要一个额外的系统来处理，而不是就把1TB以上的文件分开存放就好了呢，如果不采用新的系统，我们存放的东西没办法进行一个统一的管理。
Hadoop真·高可用集群模式（7节点）环境搭建
曾经是个DBA
08-02 3751
Hadoop真·高可用集群模式环境搭建   目录 一、 安装centos6.4 x86_64 虚拟机7台； 1 1． 修改Linux主机名 1 2． 修改IP 1 3． 修改主机名和IP的映射关系 1 4． 关闭
Hadoop搭建集群
最新发布
m0_70405779的博客
08-04 2536
Hadoop集群部署是为了实现分布式存储和计算，提高大数据处理的效率和性能。1.确定集群规模和硬件资源，选择合适的操作系统和Hadoop版本，进行网络配置，确保集群内各节点之间可以互相通信。2.设置各节点的环境变量，安装和配置Java环境以及其他必要的软件和工具。3.配置Hadoop的核心组件（如HDFS和YARN）和各节点角色（如NameNode、DataNode、ResourceManager、NodeManager等），完成集群的部署。
hadoop集群配置
m0_50997249的博客
08-31 96
文件： 要获取的默认文件 文件存放在 Hadoop 的 jar 包中的位置 [core-default.xml] hadoop-common-3.1.3.jar/core-default.xml [hdfs-default.xml] hadoop-hdfs-3.1.3.jar/hdfs-default.xml [yarn-default.xml] hadoop-yarn-common-3.1.3.jar/yarn-default.xml [mapred-default.xml]
Hadoop集群配置
qq_52150032的博客
05-13 853
伪分布集群安装 配置环境 linux系统：Centos7 虚拟机：VMware Workstation 16 Pro 一台Linux机器，也可以称为是一个节点，上面安装的有JDK环境 最上面的是Hadoop集群会启动的进程，其中NameNode、SecondaryNameNode、DataNode是HDFS服务的进程，ResourceManager、NodeManager是YARN服务的进程，MapRedcue在这里没有进程，因为它是一个计算框架，等Hadoop集群安装好了以后MapReduce程序可以
配置hadoop集群一
weixin_34221112的博客
05-17 67
花了1天时间最终把环境搭建好了。整理了一下，希望对想学习hadoop的有所帮助。 资料下载：http://pan.baidu.com/s/1kTupgkn 包括了linux虚拟机。jdk, hadoop1.0 环境搭建准备工作： hadoop_master 192.168.50.158 hadoop_slave    192.168.50.136 ...
大数据之Hadoop集群搭建（4个节点）
qq_44373783的博客
01-13 6366
大数据必备–搭建集群（四个节点） 初学大数据肯定第一步先搭建集群，虽然不知道怎么用，但是先搭建集群是你大数据学习之旅的第一步，操作步骤有以下这几步，用的centos系统 对四台虚拟机进网络和静态IP设置 Hadoop、jdk的安装 创建hadoop文件目录 导入jdk和hadoop的环境变量 修改hadoop配置文件 修改虚拟机主机名 绑定hostname与ip地址 关闭防火墙 配置节点之间的...
Hadoop大数据集群搭建（超详细）_hadoop集群搭建(1)
2401_84181070的博客
04-27 1054
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。执行该程序（参考下文中可能遇到的问题，问题1、2为必现问题，建议直接修改）
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181070的博客
04-27 1046
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
hadoop集群搭建_centos7配置静态IP
01-07
1.网络配置 设为NAT模式 虚拟机中选中节点,设置–>虚拟机设置—>网络适配器—>NAT模式 2.网络配置 打开虚拟机 ,选中需要修改的节点,步骤如下: 编辑—>虚拟网络编辑器—>VMnet8(NAT模式)—>移除...如果是集群配置,其
配置hadoop集群
12-11
虚拟机中三台配置hadoop集群配置 一主两从，master slave1,slave2
搭建Hadoop最少需要几个节点
s9434的博客
06-09 1901
可以按服务所需的最小节点数进行规划zookeeper服务最少需要3个节点，且扩展时需为奇数个才行。HDFSHDFS中的NameNode需要2个节点，主备配置
hadoop(五)--七节点HA集群搭建
jasnet_u的博客
06-09 847
如题，搭建hadoop的HA集群。hadoop的ha(High availability) 架构解决了hadoop中namenode可能存在的单点故障问题，两个namenode组成一个联邦，一个为active，另一个为standby状态。yarn集群的HA，则是需要两台resourcemanager机器，一个active一个standby。一、环境准备  7台虚拟机：  hadoopNode01 ...
Hadoop2.x的集群搭建与配置（七）——Hadoop安装配置
铭chen的博客
08-13 258
终于进入了最核心，同样也是为以后打的最基础的操作——hadoop的集群安装与配置 要问那之前的算什么 emmm 充其量算是虚拟机啦，linux啦，基础环境什么的准备工作 话不多说，正式开始。首先，我们需要去官网下载个hadoop的包，要linux版本的压缩包，应该是以tar.gz为结尾的，至于版本，不要最新的，因为最新的话很可能会出现生态圈开发不完全，与低版本不匹配等情况，我们这里以2...
查看集群基本情况（重要）！！ 查看hadoop集群有多少节点（hdfs fsck /）
热门推荐
u011495642的博客
10-25 2万+
liugen@ubuntu:~$ hdfs fsck /    Connecting to namenode via http://localhost:9870/fsck?ugi=liugen&amp;path=%2F FSCK started by liugen (auth:SIMPLE) from /127.0.0.1 for path / at Wed Oct 24 20:39:11 P...
配置Hadoop集群
代码创造世界
06-26 384
配置Hadoop集群
hadoop集群搭建
fengchengwu2012的博客
03-29 345
1、安装3个虚拟机，主机名修改为 master 、slave1 、slave2 2、复制hadoop安装包到指定目录 切换至etc目录 cd /home/master/hadoop-2.9.2/etc/hdaood 查看java的安装目录 （1）vi hadoop-env.sh 配置jdk环境 (2)...
HADOOP入门：搭建4节点集群详解
通过这个教程，读者将了解到Hadoop的起源、核心组件的功能以及如何在实际环境中构建一个基础的Hadoop集群，这对于想要进入大数据领域或从事大数据处理工作的人来说，是一个很好的入门指引。学习者将掌握分布式系统的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值