大数据学习：shell脚本

最新推荐文章于 2023-06-11 23:56:44 发布
最新推荐文章于 2023-06-11 23:56:44 发布
阅读量446 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 学习 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/X_Serendipity/article/details/128321033
版权

文章目录

一、执行shell脚本

  • 创建脚本文件，执行命令：vim /home/shell.sh
    在这里插入图片描述
  • 此时，shell.sh对于所有者而言，只有读和写的权限，并不是可执行的脚本
    在这里插入图片描述
1、直接执行脚本
  • shell.sh文件必须具备可读与可执行(rx) 的权限
  • 增加shell.sh的写权限，执行命令：chmod u+x /home/shell.sh
    在这里插入图片描述
    在这里插入图片描述
（1）绝对路径方式执行脚本
  • 命令：/home/shell.sh
    在这里插入图片描述
（2）相对路径方式执行脚本
  • 命令：cd /home
  • 命令：./shell.sh （.表示当前目录）
    在这里插入图片描述
2、利用source命令执行脚本
  • 命令：source shell.sh
    在这里插入图片描述
3、利用bash或sh命令执行脚本
  • 命令：bash shell.sh
    在这里插入图片描述
  • 命令： sh shell.sh
    在这里插入图片描述

二、shell脚本实战

任务一：显示当前用户主目录
1）编写脚本
  • 命令：vim shell01.sh
    在这里插入图片描述
2）设置权限
  • 命令：chmod u+x shell01.sh
  • 增加可执行权限
    在这里插入图片描述
3）执行脚本
  • 命令：./shell01.sh
    在这里插入图片描述
任务二：编程实现两个数相乘
1）编写脚本
  • 命令：vim shell02.sh
    在这里插入图片描述
2）设置权限
  • 命令：chmod u+x shell02.sh
    在这里插入图片描述
3）执行脚本
  • 命令：./shell02.sh
    在这里插入图片描述
X_Serendipity
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
shell脚本-大数据
12-30
shell脚本-大数据
大数据常用shell脚本之分发脚本
广彐水厂
05-23 550
一、前置准备 CentOS7、jdk1.8、hadoop-2.7.7 想要完成本期视频中所有操作，需要以下准备： Hadoop完全分布式集群环境搭建-视频教程 二、简单了解 basename：会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来 dirname：从给定的包含绝对路径的文件名中去除文件名（非目录部分），然后返回剩下的路径（目录的部分） Shell数组用括号来表示，元素用空格符号分割，Shell中使用@ 或 * 可以获取数组中的所有元素 rsync是根据自己独特的算法
大数据开发常用Shell脚本
blackrock233的博客
02-18 2348
数据仓库集群搭建时一些常用脚本，方便集群的启调停
大数据进阶之 shell 脚本开发
星辰大数据的博客
04-04 955
shell脚本赋权 chmod 777 file.sh 1、for循环打印数组 arr1=(20 21 23 24 25) arr2=(a b c d e f g) for i in ${arr1[*]};do echo -e $i "\c" done echo for i in ${arr2[@]};do echo -e $i "\c" done echo # -e：...
大数据技术之shell
weixin_43816759的博客
06-14 202
1．脚本格式脚本以#!/bin/bash开头（指定解析器）2．第一个Shell脚本：helloworld（2022/5/30 17:50-18:30）需求：创建一个Shell脚本，输出helloworld创建一个datas文件夹，用来存放后续的脚本创建一个helloworld脚本输入脚本内容（i：进行编辑；esc：取消编辑；wq：退出）脚本常用执行方式采用bash或sh+脚本的相对路径或绝对路径（不用赋予脚本+x权限）采用输入脚本的绝对路径或相对路径执行脚本（必须具有可执行权限+x）注意：第一种执行方法，本
Hadoop大数据学习–Linux,Shell脚本入门–精华篇
01-09
Hadoop大数据学习–Linux脚本入门小结–精华篇 为什么要学脚本 很多网友私信我，看我发过一些脚本，但是不会写，可是作为大数据学习者，我们深刻的意识到，脚本这个东西，已经不是运维人员的专属，我们大数据开发，...
大数据中Hadoop Shell介绍
最新发布
04-21
介绍了Hadoop bin下所有脚本以及Hadoop Shell使用介绍
cdh自动化安装shell脚本
07-28
cdh一键部署脚本
大数据采集与处理技术相关shell脚本
12-08
大多数人
大数据技术之Shell
艾维的博客
12-16 326
Shell概述 Shell解析器 【Linux提供的Shell解析器】 【bash和sh的关系】 【CentOS默认的解析器】 Shell脚本入门 1、脚本格式 脚本以【#!/bin/bash】或者【#!/bin/env bash】开头 2、第一个脚本：Hello World ①创建一个Shell脚本文件，后缀名称为【.sh】 可以直接使用【VIM编...
大数据之shell常用命令
qq_38031141的博客
06-11 141
shell 常用命令
大数据之Shell脚本语言简单入门（打通任督二脉）
qq_41857955的博客
09-28 565
一. Shell概述 Shell脚本其实是一个命令解释器，它接收的是应用程序的命令，然后调用操作系统内核。 同时Shell还是一个功能相当强大的编程语言，易编写，易调试，灵活性强。 Shell在Linux系统中的位置： 二. Shell脚本入门 脚本格式与执行 Linux系统对于解释Shell命令提供了解析器，通过指令cat /etc/shells可以查看： Shell脚本输出HelloWorld 脚本以指定解析器#!/bin/bash开头，创建一个hello.sh文件的脚本，添
大数据常用Shell脚本（一）
weixin_43646427的博客
09-14 469
一、系统变量 $HOME $USER $PWD $SHELL 二、自定义变量 定义变量（a=2），变量名由数字、字母、下划线； 1.1 环境变量名建议用大写字母，JAVA_HOME 1.2 等号两侧不能有空格 1.3 变量默认都是字符串，无法直接进行数值运算 1.4 变量的值有空格，建议用双引号 撤销变量（unset a） 声明静态变量（readonly a=2），不能被撤销 # 1、定义普通变量，输出1 a=1 echo $a # 2、撤销变量，输出为空 unset a echo $a # 3、定义
大数据集群需要的shell脚本（一）
newhandnew413的博客
07-08 616
大数据集群需要的shell脚本 在大数据开发平台上，我们经常需要在各个机器上启动各种服务，非常麻烦和繁琐且浪费时间 在这里总结了几个经常用到的shell脚本，方便学习和开发 这里需要用到的脚本因为都是操作多台服务器，所以需要用到ssh，如多我们不配置ssh 免密登录，每次调用都会需要我们登录密码，所以运用这些脚本之前应该先配置好集群间的ssh免密登录,如果没有ssh服务的要先去安装ssh服务 学习用的脚本，不是很严谨，望交流心得 ssh免密登录 ssh-keygen 操作之后一直回车直到结束，然后分发公钥
超强总结，用心分享丨大数据超神之路(四)：shell脚本
许晨的博客
09-01 605
awk的简介：其实一门编程语言，支持条件判断，数组，循环等功能，与grep，sed被称为linux三剑客之所以叫AWK是因为取其三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的Family Name的。sed的应用场景：主要对数据进行处理（选取，新增，替换，删除，搜索）awk的应用场景：通常对数据进行列的提取。
大数据技术之shell编程
sparky的博客
06-08 349
1.Shell脚本入门 1.1脚本格式 规范的Shell脚本第一行会指出由哪个程序(解释器)来执行脚本中的内容。 #!/bin/bash 或 #!/bin/sh 注意：这一行必须在每个脚本顶端的第一行，如果不是第一行则为脚本注释行。 sh是bash的软链接，推荐标准写法#!/bin/bash 1.2第一个Shell脚本：helloworld （1）需求：创建一个Shell脚本，输出helloworld （2）案例实操： [sparky@hadoop101 datas]$ touch helloworld
大数据基础之Shell（三）：Shell 脚本入门
yiluohan0307的专栏
02-02 151
shell脚本入门
大数据常用shell脚本之kf脚本
广彐水厂
05-23 390
一、前置准备 CentOS7、jdk1.8、zookeeper-3.5.7、kafka-2.4.1 想要完成本期视频中所有操作，需要以下准备： Kafka集群环境搭建-视频教程 大数据常用shell脚本之分发脚本编写-视频教程 大数据常用shell脚本之zk脚本编写-视频教程 大数据常用shell脚本之ha-hadoop脚本编写-视频教程 二、脚本源码 #!/bin/bash #作者：小康 #描述：Kafka集群启动停止以及查看状态脚本 #微信公众号：小康新鲜事儿 USAGE="使用方法：sh kf
shell脚本启动大数据组件
guajidai0165的博客
05-17 1334
1 启动elasticsearch集群 #!/bin/bash #配置ES的安装目录 修改的地方1 脚本可以自己创建 esServers='cdh01 cdh02' #启动所有的zk for es in $esServers do ssh -T $es <<EOF source ~/.bash_profile elasticsearch -d EOF echo...
大数据开发的shell脚本
09-08
大数据开发中，可以使用shell脚本来完成一些自动化的任务，例如数据的抽取、转换、加载等。下面是一个示例的大数据开发的shell脚本： ```bash #!/bin/bash # 设置变量 input_dir="/path/to/input" output_dir="/path/to/output" log_file="/path/to/logs" # 创建输出目录 mkdir -p $output_dir # 执行数据抽取 echo "开始数据抽取..." hadoop jar /path/to/extract.jar $input_dir $output_dir > $log_file 2>&1 # 检查抽取结果 if [ $? -eq 0 ]; then echo "数据抽取完成！" else echo "数据抽取失败，请查看日志文件：$log_file" exit 1 fi # 执行数据转换 echo "开始数据转换..." spark-submit --class com.example.transform /path/to/transform.jar $output_dir > $log_file 2>&1 # 检查转换结果 if [ $? -eq 0 ]; then echo "数据转换完成！" else echo "数据转换失败，请查看日志文件：$log_file" exit 1 fi # 执行数据加载 echo "开始数据加载..." hadoop jar /path/to/load.jar $output_dir > $log_file 2>&1 # 检查加载结果 if [ $? -eq 0 ]; then echo "数据加载完成！" else echo "数据加载失败，请查看日志文件：$log_file" exit 1 fi echo "所有任务完成！" ``` 这个示例脚本通过hadoop jar命令执行数据的抽取和加载，通过spark-submit命令执行数据的转换。脚本中使用了变量来设置输入目录、输出目录和日志文件路径，你可以根据实际情况进行修改。同时，脚本中使用了条件判断来检查任务的执行结果，如果任务失败，则会打印错误信息并退出脚本。最后，脚本会输出所有任务完成的提示信息。 请注意，这只是一个示例脚本，实际使用时需要根据具体的需求和环境进行修改。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值