Shell
文章平均质量分 60
shell 常见用法使用技巧
BIT_666
天道酬勤,厚积薄发
展开
-
Shell - cron_protect.sh 监控 Python、Streaming 程序
使用 shell 监控 Flink、Python 程序。原创 2023-11-29 08:00:00 · 171 阅读 · 0 评论 -
Nginx - 本机读取服务器图像、视频
Nginx 配置流媒体服务,在本地查看服务器文件、音视频内容。原创 2023-11-20 11:22:24 · 809 阅读 · 0 评论 -
Hive - 检查分区 partition 是否存在
Hive 表分区 partition 生成检测。原创 2023-10-10 08:00:00 · 733 阅读 · 0 评论 -
linux - bc 命令安装
linux 安装 bc 命令。原创 2023-07-14 15:42:27 · 2310 阅读 · 0 评论 -
Shell - 随时启动 + 固定时间启动脚本
shell 固定时间启动任务。原创 2023-02-16 14:04:42 · 1181 阅读 · 3 评论 -
Shell - 配置 Python 环境变量并导入
Shell 配置 python 环境。原创 2023-01-13 08:00:00 · 1426 阅读 · 3 评论 -
Mac - 通过 Script 实现更换桌面壁纸
MacOS 通过 Script 实现更换桌面壁纸。原创 2023-01-12 08:00:00 · 1642 阅读 · 0 评论 -
Shell - Java -jar 提交不显示中文与 MalformedInputException: Input length = 1
Shell Input length = 1 报错排查与解决。原创 2022-09-23 13:23:19 · 781 阅读 · 4 评论 -
Shell - 一行脚本统计分组 PV、UV
shell 一行实现 UV、PV 统计。原创 2022-09-19 17:29:00 · 731 阅读 · 7 评论 -
Shell - 常用压缩文件处理 zip、gz、tar、rar
使用 linux 工作中经常遇到 zip,gz,tar 相关的压缩文件,下面整理下几种压缩文件的常用方法。原创 2022-07-11 10:54:22 · 6945 阅读 · 0 评论 -
Shell - line 2: $‘\r‘: command not found
拷贝脚本提交后报错 line 2: $'\r': command not found,但是这是别的同学可以运行后发给我的,随后开始排查。安装 dos2unix 需要使用 yum。安装 yum 需要使用 brew。原创 2022-05-12 15:07:47 · 3661 阅读 · 0 评论 -
Rsync - 跨服务器传送文件
工作需要使用 rsync 跨服务器传送数据,期间遇到的问题做一下整理。原创 2022-04-08 11:16:15 · 3129 阅读 · 0 评论 -
Shell - 查看目录文件(夹)大小并清理磁盘空间
通道机乱七八糟的东西太多导致卡顿,需要查看文件夹大小并删除,执行 ll -h 命令后只能看到文件大小,文件夹大小都为 4k,切换其他命令并成功删除。原创 2022-01-06 09:34:20 · 6766 阅读 · 6 评论 -
Shell - contains 判断字符是否存在于列表 && shell 逻辑判断踩坑
使用 shell 实现时间判断逻辑时,需要判断对应 $hour 是否存在于目标 $ValidHour[*] 数组中,经过各种踩坑,最后用最简单的思路实现了 contains 操作。原创 2021-12-28 11:49:38 · 3721 阅读 · 4 评论 -
Shell - line x: [: missing `]‘
使用 ShellIf-else 语句判断时间是否在某个范围时,报错 line x: [: missing `]',下面解决一下相关问题。原创 2021-12-27 10:45:57 · 980 阅读 · 0 评论 -
Shell - For 循环时间并 Sleep
一.引言shell 执行任务需要 sleep 6min,sleep 期间对时间感知不清晰,所以在6min sleep 期间对时间进行显示。二.实现# 等待6minn=0for i in $(seq 1 360)dosleep 1slet "n=$n+1"echo ${n}s passed...done效果:...原创 2021-09-29 09:37:42 · 2186 阅读 · 0 评论 -
Shell - nc 跨服务器传输数据
一.引言通常使用 rz,sz 实现本机与服务器的交互,涉及到服务器数据交互时,可以使用 nc,尤其是在同一网络环境下,传输速度感人二.传输数据1.接收端这里 1234 可以理解为互相识别的 port,也可以自定义设置,只要接收端和传送端一致即可nc -l 1234 > file_name2.发送端ip 为接收端服务器 ip 端口号,1234 同上,将要传输的文件 < 指向 nc 即可,需要先在接收端启动命令进入监听状态,随后调用发送端命令,即可完成传输原创 2021-09-18 11:29:46 · 759 阅读 · 0 评论 -
Hadoop+Shell - 文件处理与排序
一.引言开发时经常需要写sh脚本,免不了 Hadoop 命令与其他命令交互,常见的有tail,head,awk,sed,sort 等等,这里整理一些常用语法。这里假设目标路径 targetPath 下包含20+文件:二.Tail / Head 获取目标路径1.获取最后N行last_line=`hadoop fs -ls $targetPath | tail -n 1`2.获取前N行first_line=`hadoop fs -ls $targetPath | he..原创 2021-07-16 15:31:24 · 430 阅读 · 0 评论 -
Mac zsh所有命令失效
引言:mac 引入Mysql环境变量后,执行source ~/.bash_profile后zsh命令全部失效,最基本的vim,ls都无法使用。报错:单独回车就会报错 commont not found : wcprompt_status:5: command not found: wc使用 ls,vi 就会提示 zsh: command not foundzsh: command not found: ls解决:命令行输入:PATH=/bin:/...原创 2021-03-24 11:01:12 · 3079 阅读 · 4 评论 -
Hadoop hdfs随机获取文件内容
引言:需要从 HDFS 随机获取一个目录下的内容:目录下共3000个part,随机挑选文件 part 并从每个 part 中随机获取一些数据作为原始数据。path 为文件夹地址, total为随机获取的数据量实现1(简单粗暴):hadoop fs -text $path/* | shuf -n $total> info实现2(可自定义推荐????):自定义的核心还是 shuf -n ,不同的是可以自定义随机文件,每个文件随机几行数据1.首先需要随机数生成器:..原创 2021-02-24 19:58:58 · 982 阅读 · 0 评论 -
Hive 获取数组最后一个元素
引言:通过split分割当前字段获取数组,并得到最后一个索引的元素,通过hive怎么实现,下面通过不同方法一一验证可行性。字段样式shopList : productA,productB,productC表名 shopTable : shopListTable一.通过 split + size 获取 - 失败 hive -e " select split(shopList,',')[size(split(shopList,','))-1] from shopTable.....原创 2021-01-23 21:29:32 · 10783 阅读 · 5 评论 -
Linux Grep
mark 一些常用的 grep 方法一.基本操作1.正常匹配cat fileName | grep regex2.不区分大小写匹配cat fileName | grep -i regex 3.匹配固定单词,而不是包含关系cat fileName | grep -w regex 二.逻辑操作1.非 匹配不符合该字段的语句cat fileName | grep -v regex2.或 同时匹配多个字段cat fileName | grep -E 'regex1|regex2|r原创 2020-08-13 20:15:50 · 197 阅读 · 0 评论 -
Shell 检查HDfS文件
平常脚本运行需要检查对应hdfs路径相关信息,特此总结:Tip: 假设要检查的路径为check_path1.获取路径文件大小并转化为规定单位 Byte,K,M,Gbytes获取文件大小,单位为字节;base为转换单位的基准,我这里取1G,所以是1x1024x1024x1024bytes,其他单位转换同理;第三步real只需要做除法即可,bc是shell自带运算处理,这里做2位小数保留,...原创 2020-04-27 14:31:49 · 672 阅读 · 0 评论 -
Shell 常用分割字符串
经常需要用shell对字符串或者路径解析,mark两种自己常用的分割方法:1.awk示例:echo $name|awk -F '_' '{print $1}'Tip: -F后面跟要使用的分隔符 $1类似于取分割后的第一个内容,输出最后一个内容的话 就使用$NF;有时也可以不规定分隔符,awk自动推断并分割 比如 \t 之类的2.cut示例:echo $name...原创 2020-04-13 16:48:34 · 1350 阅读 · 0 评论 -
Hive 分区表创建,增加,删除
Hive分区表1.从HDFS加载数据A.建表时加载hive -e "create table if not exists tableNamestr1 string,str2 string,str3 string)partitioned by (dt string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'STORE...原创 2020-02-10 14:14:13 · 578 阅读 · 0 评论 -
Shell 加减乘除
Shell 加减乘除Exprecho 加 `expr 9 + 3`echo 减 `expr 9 - 3`echo 乘 `expr 9 \* 3`echo 除 `expr 9 / 3`加 12减 6乘 27除 3bca=`echo "9 + 3" | bc`b=`echo "9 - 3" | bc`c=`echo "9 * 3" | bc`d=`echo...原创 2020-01-21 16:27:43 · 870 阅读 · 0 评论 -
Shell 用for循环和while遍历日期
Shell执行任务时有时需要对hive表做遍历操作并按照dt进行分区,dt数较少时可以采用for循环,但有时需要对一个时间段内的日期进行遍历,这时候就可以使用while对日期进行遍历。下面分别采用for循环和while循环对日期进行遍历:For循环:for i in {20190801,20190802,20190803}do echo ${i}doneWhile...原创 2019-09-23 21:44:16 · 4530 阅读 · 0 评论 -
Shell If Else语句 数学运算 与 逻辑运算
数学运算等于 = -eq 不等于 != -ne 大于 > -gt 大于等于 >= -ge 小于 < -lt 小于等于 <= -le Tip : 只能使用最后一列的方法逻辑运算与 或 非 && || ! ...原创 2019-08-22 22:25:30 · 1983 阅读 · 0 评论