- 博客(3)
- 资源 (1)
- 收藏
- 关注
原创 shell系列-2.后台运行任务几个常用命令
1.问题场景在远程机上运行一些任务,或者夜晚后台运行一些任务的情况,经常会遇到网络波动或者超时断连2.几个实用的工具1)nohup和&功能:会在后台执行./test.sh脚本(parameter1与parameter2都是可以传递给shell脚本的参数,也可以不传,看shell脚本本身),同时会在当前目录生成一个nohup.out文件,记录shell脚本运行日志>
2018-02-03 12:27:23 884
原创 yarn系列-1.yarn中查看jobs日志的两种方式
查看yarn日志的两种方式1.界面版1)点击application2)输入即可2.命令行版yarn logs -applicationId application_1517538889175_2550 > logs.txt通过vim进行查看logs.txt文件
2018-02-03 12:13:44 24179 2
原创 shell系列-1.cat实现文件合并
1.问题描述:如何将某个目录下所有文件合并成单个文件(前提是相同schema文件,不同的话合并也没多大意义,当然你想这么做也没啥问题。)2.解决方案1)举例从将hdfs上多日的数据汇总成一个单文件2)shell版本解决方案-首先,创建一个全新文件夹,并进入>mkdir workspace>cd workspace-将文件get到本地,比如
2018-02-03 12:03:50 2473
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人