Apache Hadoop生态部署-3台设置的免密登录，xsync分发脚本，jpsall脚本

已于 2023-02-24 08:55:20 修改
阅读量331 收藏 1
点赞数
分类专栏： Hadoop生态 文章标签： hadoop 大数据
于 2023-02-23 17:43:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/web_snail/article/details/129185871
版权

目录

查看服务架构图-服务分布、版本信息

集群服务器间的免密登录

jpsall集群jps查看脚本

xsync集群分发脚本

Apache Hadoop生态-目录汇总-持续更新

系统环境：centos7

Java环境：Java8

集群服务器间的免密登录

作用：这里配置的是root用户在集群间的免密，理论上只需要配置主节点到worker节点的免密即可

在node01节点执行

生成ssh秘钥
1：ssh-keygen -t rsa  一直回车就可以 
    留意保存路径Enter file in which to save the key (/root/.ssh/id_rsa): 

2：把秘钥传输到其他服务器，包括自身服务上
ssh-copy-id node01
ssh-copy-id node02
ssh-copy-id node03

在no
最低0.47元/天 解锁文章
iwester
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
用于与Apache Hadoop的同步hadoop-build-tools.rar
06-22
3. **配置文件**：Hadoop集群的配置通常涉及多个XML文件，如core-site.xml、hdfs-site.xml和mapred-site.xml，这些文件定义了集群的行为和设置。 4. **版本控制系统**：可能包含版本控制系统的配置或脚本，如Git，...
tez-0.8.5-hadoop-2.6.5-bin.zip
02-23
Tez是Apache Hadoop生态系统中的一个关键组件，它是一个数据处理框架，旨在提供比MapReduce更高效、更灵活的数据处理能力。Tez 0.8.5是该框架的一个特定版本，与Hadoop 2.6.5兼容，这意味着它是为在Hadoop 2.x环境下...
jpsall脚本
qq_62928039的博客
10-11 536
当一个集群的节点数量增多时，使用jps查看每一个节点的进程这个过程非常繁琐，因此我们可以写一个jpsall脚本，使用循环迭代的方式，在多台远程主机上执行相同的命令，这样就可以节省在每台主机上手动执行命令的时间和精力。并且如果集群规模扩大，需要监控更多的主机，只需在脚本中添加相应的主机名即可。
jpsall 脚本
weixin_45401571的博客
07-18 319
查看集群 jps 信息
集群辅助脚本JPSALL与XSYNC
RainTicking的博客
06-04 422
为了方便管理集群，可制作一些工具脚本，比如jpsallxsync等，下面会说明自制过程。
hadoop的补充配置与常用脚本
&volume的博客
03-10 956
hadoop102:10020是表示历史服务器配置在那台服务器上，并且内部端口为10020（集群内部所用的访问端口）（启动历史服务器之前可以先关闭所有服务，在重启Hadoop服务，在启动历史服务器）创建完毕后要对他的权限进行修改（赋予脚本执行权限），不然权限不足，不是可执行脚本。每个服务器上都有一个日志，你想看集群上的日志就需要对他进行聚集到hdfs上。mapred --daemon 启动守护进程（或者是在后台启动）为了查看程序的历史运行情况，需要配置一下历史服务器。
运行jpsall脚本时报命令找不到
最新发布
weixin_46662581的博客
03-20 336
错误原因：第四行本来是注释，没有加#，所以总是报这个命令没找到，上一次出现这个问题是因为user打错了，所以一定要细心检查。3、修改后成功不报问题了。进入脚本文件排查问题。
apache-maven-3.8.1-bin.tar.gz
05-03
3. `conf` 目录：包含Maven的配置文件，如`settings.xml`，用于设置全局配置参数和仓库位置。 4. `lib` 目录：包含Maven运行所需的库文件。 5. `LICENSE` 和 `NOTICE` 文件：提供关于Apache Maven的许可和版权信息。...
Hadoop权威指引---中文版.pdf
11-25
《Hadoop权威指引》中文版是一本全面介绍Apache Hadoop生态系统的指南，涵盖了从Hadoop的基本概念到实际应用的各种细节。Hadoop是一个开源框架，专为处理和存储大量数据而设计，尤其适合处理非结构化的数据集。 1. ...
apache-tomcat-9.0.30-deployer_apache_源码
10-02
Tomcat作为Apache的一员，遵循Apache许可证，允许用户自由使用、修改和分发。 在提供的压缩包"apache-tomcat-9.0.30-deployer"中，通常会包含以下关键组件： 1. `bin`目录：包含了启动和停止Tomcat的脚本，如`...
Hadoop的jps和其他命令的脚本
03-25
用于查询所有节点的jps或者集体执行某个命令，如关机，如重启，如删除文件
Hadoop自制jpsall脚本出错（未找到该命令）
qq_44976861的博客
12-22 1061
jpsall脚本报错：未找到命令
hadoop群起脚本
qq_43523503的博客
11-06 647
hadoop群起脚本 #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " =================== 启动 hadoop集群 ===================" echo " --------------- 启动 hdfs ---------------" ssh hadoop102 "/o
jpsall查看集群jps状态sh脚本
qq_31026281的博客
04-14 663
在/bin 下创建jpsall文件 打开写入以下内容： #!/bin/bash # 执行jps命令查询每台服务器上的节点状态 echo ======================集群节点状态==================== for i in hadoop102 hadoop103 hadoop104 do echo ====================== $i ==================== sshatguigu@$i '/opt/module...
xsync脚本和jpsall脚本
weixin_43999048的博客
12-08 662
注意！！！！ 1.两个脚本都是在root用户下编写，然后还要有执行权限chmod 777 xsync/jpsall 2.这两个脚本都必须在PATH环境变量之下 xsync脚本:用于集群文件分发的脚本 前提是：需要安装rsync—>用于文件分发的软件包 yum install rsync #!/bin/sh # 获取输入参数个数，如果没有参数，直接退出 pcount=$# if((pcount==0)); then echo no args; exit; fi #2 获取文件名称 p1=$1
hadoop完全分布式——jpsall.sh脚本
CarveStone的博客
12-03 1868
写 jpsall.sh 脚本 cd $HADOOP_HOME/sbin sudo vi jpsall.sh # 写入如下内容 # 执行jps命令查询每台服务器上的节点状态 echo ======================集群节点状态==================== for i in master slave1 slave2 do echo ====================== $i ==================== ssh hadoop@$i
Hadoop 编写集群统一启动停止脚本 | 查看所有服务器Java进程脚本
lesileqin的博客
04-04 4410
文章目录一、Hadoop集群启停脚本 myhadoop.sh1、编写脚本2、脚本解读3、测试二、查看三台服务器Java进程脚本 jpsall1、编写脚本2、脚本解读3、测试三、脚本分发 在配置两个脚本之前，需要配置好ssh免密登陆 一、Hadoop集群启停脚本 myhadoop.sh 1、编写脚本 在用户家目录的bin下，创建脚本myhadoop.sh [wzq@hadoop102 ~]$ cd /home/wzq/bin/ [wzq@hadoop102 bin]$ vim myhadoop.sh 将
分布式群起zookeeper脚本、群起HDFS与YARN脚本、查看集群jpsall脚本、shell群起脚本代码、Linux群起服务、群起集群后立即关闭安全模式
qq_43265673的博客
08-25 1224
群起zookeeper脚本、群起HDFS与YARN脚本、查看集群jpsall脚本、shell群起脚本代码
apache-hive-2.1.1-bin.tar.gz
07-24
### 回答1： Apache Hive是一个开源的数据仓库基础设施，可以通过使用SQL来查询和分析大规模的数据集。apache-hive-2.1.1-bin.tar.gz是Hive的2.1.1版本的二进制安装包。这个安装包包含了Hive运行所需的所有文件。 在安装Hive之前，我们需要确保已经安装了Java Development Kit (JDK)，因为Hive是在Java环境下运行的。然后，我们可以通过以下步骤来安装apache-hive-2.1.1-bin.tar.gz： 1. 首先，我们需要下载apache-hive-2.1.1-bin.tar.gz文件。我们可以从Apache Hive官方网站下载这个文件。 2. 下载完成后，我们需要将下载的文件解压缩。可以使用以下命令进行解压缩：tar -zxvf apache-hive-2.1.1-bin.tar.gz 3. 解压缩完成后，我们需要配置Hive的环境变量。我们可以打开.bashrc或.bash_profile文件，并添加以下配置行： export HIVE_HOME=/path/to/hive export PATH=$PATH:$HIVE_HOME/bin 请将上述配置行中的"/path/to/hive"替换为您解压缩Hive的路径。 4. 保存文件，然后加载这些配置。我们可以使用以下命令加载.bashrc文件：source ~/.bashrc 5. 现在，我们可以启动Hive了。使用以下命令启动：hive 这将启动Hive的命令行界面，我们可以在其中执行Hive的SQL查询和操作。 这就是安装apache-hive-2.1.1-bin.tar.gz的基本步骤。安装完成后，您可以开始使用Hive来查询和分析大规模的数据集。希望这个回答能对您有帮助！ ### 回答2： Apache Hive是一个基于Hadoop的数据仓库解决方案，它可以提供结构化查询语言(SQL)，以便从大规模分布式数据集中检索和分析数据。hive-2.1.1-bin.tar.gz是Hive的一个版本，其中的bin表示该文件包含了Hive的可执行脚本和二进制文件。 在解压和安装这个tar.gz文件之后，我们可以通过运行Hive的命令行界面来开始使用Hive。Hive提供了类似于SQL的查询语言，称为HiveQL，它允许用户使用SQL语句来查询和分析存储在Hadoop集群上的数据。 Hive可以处理各种类型的数据，包括结构化数据、半结构化数据和非结构化数据。它允许用户定义表结构，将数据导入表中，并执行类SQL查询来处理这些表。Hive使用Hadoop的MapReduce框架来执行查询，因此具有良好的可扩展性和容错性。 除了基本的查询功能外，Hive还支持用户自定义函数(UDFs)，以便根据特定需求编写自定义的函数，并将其应用于查询中。此外，Hive还支持分区和分桶的概念，以改进查询性能。 通过使用Hive，用户可以利用Hadoop集群的强大计算能力和存储能力来处理大规模数据集。它提供了一种简化和抽象化的方式来处理和查询大数据，对于那些熟悉SQL语法的用户来说，学习和使用Hive相对容易。 总之，apache-hive-2.1.1-bin.tar.gz是Apache Hive的一个版本，它提供了一个基于Hadoop的数据仓库解决方案，可以通过HiveQL语言来查询和分析大规模分布式数据集。 ### 回答3： apache-hive-2.1.1-bin.tar.gz 是Apache Hive项目的二进制压缩文件。Apache Hive是一个基于Hadoop的数据仓库基础架构工具，用于提供数据的存储、查询和分析。通过Hive，用户可以使用类SQL语言在Hadoop集群中执行数据查询，并将查询结果转换为MapReduce任务进行处理。 Apache Hive提供了一个类似于关系型数据库的查询语言，称为HiveQL，它使用了SQL语法来查询和操作存储在Hadoop HDFS或Hive表中的数据。Hive将HiveQL查询转换为MapReduce任务或Tez DAG（有向无环图）任务，让用户可以轻松地利用Hadoop集群的并行处理能力进行大规模数据处理。 通过Apache Hive，用户可以在不需要掌握复杂的MapReduce编程技术的情况下，利用简单的SQL语法进行数据分析和挖掘。用户可以创建Hive表，将数据加载到表中，并使用HiveQL进行查询和处理。此外，Hive还提供了用户定义函数（UDF）、用户定义聚合函数（UDAF）和用户定义转换函数（UDTF）的能力，让用户可以按照自己的需求扩展和定制Hive的功能。 apache-hive-2.1.1-bin.tar.gz是Hive 2.1.1版本的二进制分发文件。用户可以下载并解压此文件，即可在本地环境中部署和运行Apache Hive。Hive还有其他版本和分发文件可供选择，用户可以根据自己的需求选择适合的版本进行使用。对于想要在Hadoop集群中快速搭建和使用数据仓库工具的用户，Apache Hive提供了一个强大而灵活的解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iwester

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值