若泽大数据-剑指数仓培训笔记2

大数据之Linux生产常用命令一+二

1.清楚屏幕 clear

2.mv移动 cp复制

mv是文件始终一份 速度快
cp是存在两份文件 速度慢
不标准写法:

mv dir1  ruozedata
cp -r dir2 ruozedata

标准写法:

mv dir1  ruozedata/dir1
cp -r dir2 ruozedata/dir2

也支持修改名称

mv  dir2 dir22
cp -r dir3 dir33 #可以支持复制的同时修改文件名称

3.创建文件

a.touch 1.log 创建空文件
b.vi 2.log 创建文件并用vim编辑器打开编辑
vim操作简介：
   默认命令行
   i键 编辑模式，进行编辑
   esc键 从编辑模式–》命令行模式
   shift+:键 从命令行模式–》尾行模式，输入wq 保存退出
c.主要场景是为了 覆盖内容 或者 追加内容
echo “ruozedata” > 3.log
打印一句话进入3.log文件
“>” 创建或覆盖 【高危命令1】
‘>>’ 追加

4.查看文件内容 log config data

cat 文件内容一下子全部显示 ctrl+z 中断
more 文件内容一页页往下翻，按空格往下 Ctrl+B 回退 q退出
less 文件内容 按上下键 q退出

cat 适用于文件内容少的情况
more 适用于文件内容稍微多点的情况

tail 实时查看文件最新内容
   tail -f xxx.log 基本不太用来自动提取实时监控，
   当文件不在之后就不会在尝试查看，即使文件重新创建
   tail -F yyy.log =-f+ retry再次尝试采集信息

场景:
a.采集业务log日志内容 log4j（业务系统中很多是）
  规则: 每份100m 保留10份
  系统–》 erp.log 90m …100m
   mv erp.log erp.log1
   touch erp.log

    ll命令查看，会存在11份数据
    erp.log 
    erp.log1
    erp.log2
    ....
    erp.log10

b.大数据Flume组件 exec source: tail -F erp.log 生产上面监控数据指令

想要查看文件内容倒数100行,同时实时监控
tail -100f xxx.log
tail -100F xxx.log 错误的

文件内容超多时 需要定位ERROR 信息