HDFS自动批量的启动脚本

最新推荐文章于 2023-04-19 10:32:22 发布
最新推荐文章于 2023-04-19 10:32:22 发布
阅读量490 收藏
点赞数
分类专栏： 大数据 Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/flyer_tang/article/details/83056399
版权

  • 修改配置文件slaves（配置集群服务器）

          

  • 执行命令

        start-dfs.sh 启动集群

        stop-dfs.sh 停止集群

        

主机启动之后，发现有一个副本存在，修改副本位置，参考https://blog.csdn.net/flyer_tang/article/details/83056939

 

IT_探
关注
专栏目录
使用kettle处理HDFS上的数据并写回HDFS
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-07 656
本实验任务主要完成基于ubuntu环境的使用kettle处理HDFS上的数据并写回HDFS的工作。通过完成本实验任务，要求学生熟练掌握使用kettle处理HDFS上的数据并写回HDFS的方法，为后续实验的开展奠定ETL平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握使用kettle处理HDFS上的数据并写回HDFSUbuntu、Java1.8、Kettle7.1Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定
大数据-什么是HDFS？&&HDFS三个进程细节介绍&&HDFS回收站机制&&DFS目录介绍-史上最详细的HDFS干货
weixin_47055922的博客
08-28 5326
一、简介HDFS——Hadoop分布式文件存储系统 一、概述 全称为Hadoop Distributed File System ，Hadoop分布式文件存储系统 HDFS是根据谷歌的论文：《The Google File System》进行设计的 本身是一个分布式的，可扩展，可靠的文件系统 HDFS中包含三个主要的进程：NameNode，DataNode，SecondaryNameNode。这三个进程一般是分布式不同的主机上，所以一般习惯上是用进程的名字称呼节点 二、特点 优点： 支持超大
开启hdfs的脚本文件
11-29
开启hdfs的脚本文件，可以通过此文件开启hdfs，但是记得赋权喔
启动HDFS集群脚本
weixin_40105543的博客
06-27 617
#!/bin/bash #启动zookeeper for node in node01 node02 node03 do ssh $node "source ~/.bash_profile; zkServer.sh start" done #等待2秒 sleep 2 start-dfs.sh sleep 2 #启动yarn ssh node03 "source ~/.bash_prof...
HDFS脚本
weixin_30567471的博客
03-04 120
环境准备 vim .bash_profile export CLASSPATH=.:/home/hadoop/work/hadoop2.6jar/*.jarsource .bash_profile 1.上传文件到hdfs vim CopyFile.java 1 import org.apache.hadoop.conf.Configuration; 2 import ...
HDFS自动化脚本启动
九点六
05-13 363
主要的配置文件在vim /usr/local/hadoop/etc/hadoop/slaves里面，将里面的localhost删除，添加上自己的datanode的主机名，之前配置过免密登录，现在就不用配了。 启动集群的命令为：start-dfs.sh 停止集群的命令为：stop-dfs.sh 启动之后里面会有0.0.0.0这个语句，修改vim/usr/local/hadoop/etc/hadoop/hdfs-site.xml配置文件： 如图 里面的namenode01是namenode的...
HadoopHA集群 批量启动脚本
04-11
HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本
Spark-shell批量命令执行脚本的方法
09-15
为了解决这个问题，我们可以利用脚本批量执行Spark-shell中的命令。本文将详细介绍如何通过编写bash脚本来实现这一功能。 首先，让我们了解脚本的基本结构。在Linux环境下，我们通常使用bash shell来编写这样的脚本...
怎么理解hive、hdfs、shell脚本
最新发布
06-07
Hive是一个基于Hadoop的数据仓库工具，它可以将结构化的数据文件映射为一张数据库...在Hadoop生态系统中，Shell脚本通常用于自动化部署、启动、停止和监控Hadoop集群，以及执行Hive脚本和Hadoop MapReduce作业等任务。
MySqoop_Sqoop脚本生成_sqoop脚本_
09-30
最后，工具会自动生成对应的Sqoop命令脚本，用户可以直接运行这个脚本来执行数据迁移任务。 总结来说，Sqoop脚本生成是数据迁移过程中的关键步骤，通过可视化工具如"MySqoop"，我们可以更便捷地生成和管理这些脚本...
hadoop 高可用集群一键启动脚本
11-03
hadoop 高可用启动脚本，运行启动zookeeper集群和hadoop ha集群
hadoop2.7.3启动脚本流程
07-27
在学习hadoop启动脚本过程中记录的，有一定的参考价值，值得一看！
【自动化脚本】自动启动hdfs/yarn/spark HA集群
03-05
脚本功能：启动集群 前提：配置好执行脚本的主机到其他主机的ssh登录 脚本使用：vim编辑脚本，按照自己的配置修改主机号，我的是hadoop1、2是NN；hadoop2、3是Spark Master；hadoop3还是RM；hadoop4、5、6是DN、NM、Spark Worker。编辑完成后在满足“前提”的任意一台主机运行均可。 脚本声明：原创——By BlackValley
【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在
weixin_53543905的博客
04-19 2953
1、通过可以判断 HDFS 文件或目录是否存在，-test 一次只能传递一个测试参数，不能执行类似或者这种命令；2、返回值是不输出的，需要通过“$?这个特殊变量获取返回值；3、判断 HDFS 文件目录是否存在后，可以执行比如创建、删除目录或文件等操作，当然还有一些更高级的玩法，这里就不演示了。【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在
Hadoop(1.6)——批量启动服务脚本、批量查看jps脚本
qq_42553836的博客
06-26 298
批量启动服务脚本： 脚本存放路径：/root/bin 脚本内容： #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " =================== 启动 hadoop 集群 ===================" echo " --------------- 启动 hdfs -----
hadoop 脚本分析，hdfs常用命令
mthinking
02-22 351
sbin/start-all.sh -------------- libexec/hadoop-config.sh start-dfs.sh start-yarn.sh sbin/start-dfs.sh -------------- libexec/hadoop-config.sh sbin/hadoop-daemons.sh --config .. --hostn...
Hadoop学习笔记之Hadoop批量执行脚本
ljh1228的博客
09-28 265
学习hadoop，记录笔记回顾
shell 命令操作hdfs
u012957549的博客
12-13 7446
简介本编文章主要讲述shell 命令操作hdfs 主要讲述几个简单常用的shell 命令 如 ls get mkdir rm put 前提需要安装hdfs 作者用的是虚拟机搭建的伪分布式环境，如果没有搭建环境的可以参考这里http://www.haha174.top/article/details/251072 首先使用jps 确保 hdfs 都启动 hadoop fs
Hadoop分布式批量处理脚本xcall.sh
qq_39261894的博客
02-19 283
#!/bin/bash params=$@ i=1 for((i=101 ;i<=103 ;i=$i+1 ));do echo ==========hadoop$i $params========== ssh hadoop$i "source /etc/profile;$params" done chmod 777 xcall.sh 使用：xcall.sh jps
hdfs dfsadmin自动化测试脚本
05-12
以下是一个简单的HDFS dfsadmin自动化测试脚本，可以用于测试HDFS集群的健康状态： ```bash #!/bin/bash # 检查HDFS NameNode是否健康 hdfs dfsadmin -report | grep "Name:" | awk '{print $2}' | while read -r namenode; do echo "Testing NameNode: $namenode" hdfs dfsadmin -fs "hdfs://$namenode" -report > /dev/null if [ $? -eq 0 ]; then echo "NameNode $namenode is healthy" else echo "NameNode $namenode is unhealthy" fi done # 检查HDFS DataNode是否健康 hdfs dfsadmin -report | grep "Name:" | awk '{print $2}' | while read -r namenode; do echo "Testing DataNodes on NameNode: $namenode" hdfs dfsadmin -fs "hdfs://$namenode" -report > /tmp/hdfs-dn-report.tmp grep "^Datanodes available:" /tmp/hdfs-dn-report.tmp | awk '{print $3}' | while read -r num_datanodes; do for (( i=0; i<$num_datanodes; i++ )); do datanode=$(grep "^Hostname:" /tmp/hdfs-dn-report.tmp | awk '{print $2}' | sed -n "$((i+1))p") echo "Testing DataNode: $datanode" hdfs dfsadmin -fs "hdfs://$namenode" -Ddfs.datanode.hostname="$datanode" -report > /dev/null if [ $? -eq 0 ]; then echo "DataNode $datanode is healthy" else echo "DataNode $datanode is unhealthy" fi done done done ``` 此脚本会检查每个NameNode和其上的所有DataNode的健康状态，并输出结果。你可以将其保存为一个文件，比如`hdfs-dfsadmin-test.sh`，并通过`bash hdfs-dfsadmin-test.sh`运行。请注意，你需要在所有的NameNode上运行此脚本，以确保整个集群的健康状态。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值