6.神操作（把master上的三个安装包scp给slave）—Hadoop完全分布式搭建完成

最新推荐文章于 2024-05-05 03:31:51 发布
最新推荐文章于 2024-05-05 03:31:51 发布
阅读量2.4k 收藏 1
点赞数
分类专栏： hadoop/spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GoJawee/article/details/77130990
版权
该博客详细介绍了如何将master节点上的Hadoop安装包、环境变量文件通过SCP命令复制到slave1和slave2的/data目录，并在slave节点上激活环境变量，以及复制hadoop日志目录，完成Hadoop完全分布式搭建过程。
摘要由CSDN通过智能技术生成 
【一个很疑惑的问题】
    为什么我们一直在反复做一个操作：就是scp拷贝过来拷贝过去？
【答案】这是为了将文件或目录的权限修改成hadoop所属组。

一、把master上的3个安装包拷贝到slave1、slave2机器上的/data目录下

先进入/data目录下，打开终端，不用修改用户

再：
scp -r hadoop-2.6.5/  scala-2.11.8/  jdk1.8.0_111/ hadoop@slave1:/data/

scp -r hadoop-2.6.5/  scala-2.11.8/  jdk1.8.0_111/ hadoop@slave2:/data/

二、把master上的环境变量文件~/.bashrc拷贝到slave1、

最低0.47元/天 解锁文章
GoJawee
关注
专栏目录
Hadoop分布式集群搭建详细过程
godadream的博客
08-03 1120
1. 首先用五台机器搭建分布式，一个为master，剩下四个分别为slave01、slave02、slave03， slave04。 2. 修改机器名     五台机器分别都执行sudo vim /etc/hostname命令，将文件中的内容分别改为master、slave01、slave02、slave03， slave04。 3. 重启机器，发现机器名修改成功。 4. 修改master...
[Hadoop集群模式安装与配置全过程]红帽子RatHat6下hadoop集群模式安装（3个节点，master,slave1,slave2）
.的博客
04-21 6153
红帽子RatHat6下hadoop集群模式安装（3个节点，master,slave1,slave2）一、学习目标：使用红帽子RatHat6在虚拟机上搭建hadoop集群，包含3个节点，体验集群分布式。二、软件需求：三台虚拟机(这里使用VMware Workstation)、RatHat6版本的安装包三、实验前提：每台PC机已装有RatHat6系统，一台机命名为master作为namenode，另两...
Hadoop分布式环境搭建详细步骤.docx
08-18
hadoop 安装部署！
hadoop 命令scp
Lian_Easel的博客
04-20 3507
1.在安装HBASE的过程中，需要把master的文件复制到slave1、slave2中。 scp -r hbase slave1 : ~/ 这条语句中，scp -r 后面接的是需要复制的文件的地址，冒号后面的是 复制到slave1中后的目录地址。在使用这条命令的过程中，刚开始出现的问题是：找不到目标文件，目录地址找不到，所以解决方法是可以进入到相应的目录文件 比如 cd hbase。...
Linux基础环境搭建（CentOS7）- 安装JDK
热门推荐
?
09-17 4万+
Linux基础环境搭建（CentOS7）- 安装JDK 1 JDK的下载及安装 java是当前比较流行的一种编程语言，当我们开始学习java的时候肯定会先要安装jdk，然后进行环境变量控制。 JRE(Java Runtime Environment ) Java运行环境，用来运行JAVA程序的。 JDK(Java Development Kit) Java开发工具包，包含JRE。因此只需要下载安装JDK即可中。 JDK是Sun Microsystems针对Java开发员的产品，JSP运行环境需要JDK的支
hadoop 多机全分布式安装步骤（虚拟机1master+2slave）
Michael是个半路程序员
03-11 3745
文章目录1. 虚拟机安装Centos7 1. 虚拟机安装Centos7 安装3台虚拟机，centos7，一个master，两个slave
大数据处理学习笔记2.2
m0_74001992的博客
06-09 94
一、Spark开发环境准备工作由于Spark仅仅是一种计算框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS、HBase等组件负责数据的存储管理，Spark负责数据计算。安装Spark集群前，需要安装Hadoop环境二、了解Spark的部署模式（一）Standalone模式Standalone模式被称为集群单机模式。
linux常规操作，向其他服务器传递文件等
qq_44079295的博客
08-30 642
1、scp远程传输命令，slave1必须是在hostname文件中配置好的地址映射，是另一台主机的访问ip映射，将本地的hosts传输到slave1主机的etc文件夹下，如果没有设置好地址映射的话，就将slave1换为你要接受文件的主机的ip地址 scp /etc/hosts slave1:/etc 传输文件夹的话加上-r scp -r xxx yyy 2、mkdir mkdir -p /data/packs mkdir /software 3、解压缩 tar zxvf hadoop-3.2.2.ta
高性能Mysql主从架构的复制原理及配置详解
无界编程
03-28 3020
1 复制概述      Mysql内建的复制功能是构建大型，高性能应用程序的基础。将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环。这些日志可以记录发送到从服务器
copy-to-slave.hpi
07-21
网上找了很久没有找到copy-to-slave.hpi，所以去github下载了插件源码，编译出来用。给需要的朋友。执行构建前，可以拷贝文件到workspace
2024年hadoop平台完全分布式搭建，大数据开发程序员春招三面蚂蚁金服
最新发布
2401_84166497的博客
05-05 743
1.编辑hosts文件，添加主机名映射内容添加内容：（IP地址填写你自己主机的IP地址）2.生成公钥和私钥然后按四次回车3.复制公钥到其他容器（包括自己）填入yes回车，然后输入root密码即可4.测试是否能免密登录ssh masterssh slave1ssh slave2若回显登录界面，则设置成功（另外两个节点重复以上操作）1.解压jdk安装包到/opt/module中。
Hadoop完全分布式平台环境搭建
weixin_46132649的博客
03-06 387
Hadoop完全分布式平台环境搭建
hadoop完全分布式搭建
weixin_63180557的博客
06-01 717
systemctl disable firewalld #关闭防火墙开机自起。拷贝完成后，在hadoopwanquan中检查是否拷贝成功（hadoopwanquan执行）秘钥拷贝（将三个节点的秘钥都拷贝到hadoopwanquan中）（三个节点执行）ps： 第一次拷贝slave2出现以下问题，没有解决，但是不影响无密钥登录。各节点更改主机名，每个节点配置上述规划的主机名（重启生效）ping 节点名称，在一个节点ping其他两个节点。生成秘钥（三个节点生成）输入yes和root密码。
Hadoop完全分布式集群搭建
weixin_36995355的博客
01-22 290
1. 集群搭建形式 Hadoop环境搭建分为三种形式：单机模式、伪分布式模式、完全分布模式 单机模式—— 在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。 伪分布式—— 也是在一台单机上运行，但不同的是Java进程模仿分布式运行中的各类节点。即一台机器上，既当NameNode，又当DataNode，或者说既是JobTracker又是TaskTracker。没有所谓的在多台机器上进行真正的分布式计算，故称为“伪分布式”。 完全分布式——真正的分布式，由3个及以上的实体机或者.
Redis系列之六------Redis的复制(Master/Slave)
zpeien
05-23 516
目录 Redis系列之六------Redis的复制(Master/Slave) 一、Redis 的复制是什么？ 二、Redis 复制的案例 1、配置准备环境 1）拷贝多个redis.conf文件 2、一主二仆 3、薪火相传 4、反客为主 三、复制原理 四、哨兵模式(sentinel) 1、演示 1）建立sentinel.conf 2)配置哨兵,填写内容 3）启动哨兵 4）主机挂了 五、复制的缺点 Redis系列 Redis系列之六------Redis的复制(M..
Hadoop集群安装环境搭建-纯命令行
weixin_43247092的博客
04-28 382
Hadoop集群安装环境搭建-纯命令行Hadoop集群安装配置流程Master节点安装SSH serverMaster节点安装JAVA环境Master节点安装Hadoop并完成配置Slave节点安装SSH server，JAVA环境修改Master和Slave的主机名及IP主机名对应文件。Master节点无密码SSH登陆到Slave节点配置集群/分布式环境Master节点上的/usr/local/...
mysql replication copy master to slave
screaming的博客
05-23 535
MySQL 复制介绍及搭建 2016/04/29 ·  IT技术 ·  MySQL, 数据库 分享到：1 原文出处： bestvivi    MySQL复制介绍 MySQL复制就是一台MySQL服务器（slave）从另一台MySQL服务器（master）进行日志的复制然后再解析日志并应用到自身，类似Oracle中的Data Guard。 MySQ
scp命令，用于Linux系统之间文件或文件夹的复制
Zdk_zkk的博客
04-04 347
scp 是 linux 系统下基于 ssh 登陆进行安全的远程文件拷贝命令，可用于Linux下主机与远端之间的文件或者目录的复制。scp命令详细的使用方法在很多文章中都有总结，但是个人觉得内容太过于混杂。现在根据我个人的理解，简单总结常用的一些用法。 从本地复制到远程 scp （-r）本地文件（夹）的绝对路径 远程系统用户名@远程系统ip地址:希望将文件（夹）存放在的远程系统的绝对路径 注：注意冒号和空格键的使用，路径都是绝对路径 例如：scp /home/Xu/downloads/山水之间.mp3 pi@
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值