SHELL
紫薯馍馍
代码是程序员的朋友,虽然没有热情,但是非常忠实
展开
-
使用shell比较两个文本的差异,并找到差异文本的内容
使用shell比较两个文本的差异,并找到差异文本的内容原创 2022-08-13 11:44:55 · 1753 阅读 · 0 评论 -
linux使用shell脚本 执行hive命令,hive 传参
linux使用shell脚本 执行hive命令,hive 传参原创 2022-08-12 09:20:40 · 979 阅读 · 0 评论 -
Linux 定时执行scp操作,不使用except
【背景】 两个服务器之间 每天定时有传输文件的需求,但是又涉及到交互 如输入密码,yes 确认等,想让定时任务处理就有点棘手,确实不想用expect来处理,因为懒得安,所以最后决定直接使用公钥的方式来处理假设本地为客户端A(tony@192.168.3.6),远程服务端为B(tom@192.168.3.100),定时从B复制文件夹内容到A:1. 设置免密登陆在客户端(A )生成一对公钥和秘钥,使用 ssh-keygen -t rsa生成,一路回车即可;sudo sussh-key原创 2022-03-22 21:28:24 · 1626 阅读 · 0 评论 -
Shell开发脚本 通过SFTP 定时 上传文件
【背景】与三方公司对接,有数据传输需求,数据传到对方的服务器,对方提供的传输方式是SFTP。【思路】数据来自于ORACLE,项目先提供在服务器上使用sqluldr2来操作【数据导出】工作,之前的博客有提到大批量数据【导入】工具sqluldr,注意不要弄混了,然后把数据存到指定的文件下,接着通过crontab 任务定时调用传输工具脚本就行了,之前未接触过SFTP,这次遇到一些坑,网上查了许多文章没有我需要的,简单记录一下:1.FTP传输示例先放之前FTP上传下载文件的做法,连接到指定IP和端口原创 2022-03-10 16:57:01 · 7655 阅读 · 2 评论 -
linux如何删除行首的空格
sed's/^ *//'jello.txt > hello.txt原创 2022-02-08 09:03:07 · 1880 阅读 · 0 评论 -
linux shell文件截取前几行,后几行,中间几行命令
如果你只想看文件的前100行,可以使用head命令,如head-100 filename 如果你想查看文件的后100行,可以使用tail命令,如:tail-100 filename 或 tail -n 100 filename 查看文件中间一段,你可以使用sed命令,如:sed-n ‘100,200p’ filename 这样你就可以只查看文件的第100行到第200行...原创 2022-02-08 08:56:55 · 5390 阅读 · 0 评论 -
SHELL 将文档中的空格替换为 逗号
sed -i "s/`echo -e \\\t`/,/g" 文件名.txtsed -i "s/\s/,/g" 文件名.txt原创 2022-02-08 08:47:14 · 3265 阅读 · 0 评论 -
SHELL脚本远程导入txt文件到mysql数据库
问题背景需要每天对ORACLE表中信息进行扫描,但因为ORACLE是在核心服务器上,考虑到安全问题,计划把ORACLE中的数据每天定时导出成文件,再将文件入口的需要扫描的数据库中,因为分工不同,扫描端的人使用的是MYSQL数据库,本来考虑使用sqluldr工具,就没办法直接使用了解决办法1.编写SHELL脚本定时导出ORACLE中需要扫描的数据文件,2.远程连接MYSQL数据库3.使用以下的导入命令,导出具体路径下面的文件,对前一日的信息数据直接覆盖即可linux服务器上登.原创 2021-05-19 16:26:25 · 2195 阅读 · 0 评论 -
linux中shell脚本手动执行没问题,crontab定时执行失败
问题描述:Shell脚本手动执行可以正常运行,并得到正确结果;使用Crontab定时调度的时候,Shell脚本执行出来的结果数据量为0。原因:Linux下用crontab执行定时任务不会缺省的从用户profile文件中读取环境变量参数,所以经常导致在手工执行某个脚本时是成功的,但是到crontab中试图让它定期执行时就是会出错。这是因为用户登陆Linux操作系统的时候,”/etc/profile”, “~/.bash_profile”等配置文件会被自动执行,而crontab定时调...原创 2021-04-13 10:01:42 · 2296 阅读 · 0 评论 -
shell cut 切割简单的取列命令用法及示例
cut用来从标准输入或文本文件中剪切列或域。cut一般格式为:cut [options] file1 file2下面介绍其可用选项:-c list 指定剪切字符数。-f field 指定剪切域数。-d 指定与空格和t a b键不同的域分隔符。- c用来指定剪切范围,如下所示:- c 1,5-7 剪切第1个字符,然后是第 5到第7个字符。-c1-50 剪切前5 0个字符。-f 格式与- c相同。-f 1 ,5 剪切 第1域,第5域。- f 1,1...原创 2020-12-09 15:38:11 · 922 阅读 · 0 评论 -
解决SHELL脚本使用hadoop fs -get 命令 报错 command not found
SHELL脚本使用hadoop 命令 报错 command not found 问题解决项目背景项目中需要定时从HADOOP HDFS 中下载定时更新的文件,为了方便操作,写了SHELL脚本定时下载,脚本中使用的核心命令就是 hadoop fs -get /xxxx/xxxx/xxx.log手动切换到 hadoop用户 ,独立执行命令时,完全正常,可放到SHELL脚本中就一直报错...原创 2020-03-25 09:27:36 · 2085 阅读 · 0 评论 -
解决awk中无法使用shell变量问题及脚本使用命令行对用户进行切换的问题
问题一、解决awk中无法使用shell变量问题项目背景需要通过提取 去重后的操作日志里面 第一列账号 + 设定日期 来作为数据字段 导入到ORACLE库逻辑是在通过管道对 提取数据的同时,把设定日期作为 新的一列 加入到新的文本文件里,问题就出现在这个时间变量这里,本来先给时间变量赋值,然后把变量放在命令行里是没问题的,可是在awk 里就出现了问题, 反复测试依然是相同的结...原创 2020-03-20 10:59:12 · 1201 阅读 · 0 评论 -
利用Shell 对固定格式的txt文件数据进行脱敏
利用Shell 对固定格式的txt文件数据进行脱敏文档格式如下图,所有列都是以“|” 进行分割,需要对指定列进行替换脱敏,尝试用 sed 来进行替换,但多次尝试以后无果,原因在于,需要处理的数据多列,数据有中文,数字还有其他的格式,替换必须要有一个原始数据,所以sed无法满足我的需求;尝试使用awk来对数据进行查找替换,最后也是多次尝试无果,虽然能够把指定列查出来,但是无法完...原创 2019-04-15 13:12:00 · 1170 阅读 · 1 评论