杂乱随笔记录

7:查看hive库的大小

hadoop fs -du -s -h /user/hive/warehouse/ods.db

第一位为总存储量 第二位为父本存储量（默认为3个）

8:查看hive中某张表的数据量大小

hadoop fs -du /user/hive/warehouse/src.db/user/user_account|awk ' { SUM += $1 } END { print SUM/(1024*1024*1024) }'

none inf 300G① 300G② 36 30 1.4M③  /user/hive/warehouse/xxxxxx.db

 

9:查看hive某个数据库所有表的本机存储大小和总存储大小

hadoop fs -du -s -h  /user/hive/warehouse/src.db/*

（hadoop fs -du -s -h  /user/hive/warehouse/src.db查看某个库的本机大小和总副本存储大小）

 

本机大小   副本总大小 路径位置

10:awk的使用方式

11:修改软连接指向

ln -snf 【新目标目录】 【软链接地址】

12:递归更改当前文件夹以及子文件夹的所有者

chown -R mister:mister *

13:gg回到开头G到结尾

14:control+a&e

15：并发（处理器同一时间内处理多个代码块，每个代码块是分开运行的并不是同时运行的，有一个处理器对排队的代码块统一处理）

并行（将现有的资源拆分成多个小的资源来同事处理多个同时进行的工作）

同步是阻塞模式，

异步是非阻塞模式。

同步就是指一个进程在执行某个请求的时候，若该请求需要一段时间才能返 回信息，那么这个进程将会一直等待下去，直到收到返回信息才继续执行下去；

异步是指进程不需要一直等下去， 而是继续执行下面的操作，不管其他进程的状态。当有消息返回时系统会通知进程进行处理，这样可以提高执行的效 率。

17:OGG

主要用途-数据迁移

OGG的标准用途是将数据从Oracle迁移到非Oracle数据库，或从非Oracle数据库迁移到Oracle数据库，支持的数据源有：

Oracle和非Oracle数据库，如MySQL，IBM DB2，MS SQL，Sybase等

文件，XML，JSON，CSV文件和其他非结构化数据源

基于大数据的数据库，如基于Apache Hive，Apache HDFS和Apache Hadoop等技术的大数据平台数据库。

Java消息传递服务（JMS）和Java API

18:MPP架构

Massively Parallel Processing，一种分布式 Shared Nothing 计算架构，支持多个无共享的节点，执行全并行计算，计算性能随节点增加而线性提升。AnalyticDB for PostgreSQL 实例即为MPP集群架构，由多个计算节点组成。

19:HTAP等业务场景

20:COALESCE是一个函数， (expression_1, expression_2, ...,expression_n)依次参考各参数表达式，遇到非null值即停止并返回该值。如果所有的表达式都是空值，最终将返回一个空值。使用COALESCE在于大部分包含空值的表达式最终将返回空值。

21:LEAST()函数与GREATEST()函数相反。其目的是为了从值列表(N1，N2，N3，等等)返回至小值项。

22:Lateral View+explode(字段名称）语法使用->https://help.aliyun.com/document_detail/87722.html?spm=a2c4g.11186623.6.694.19c16f41znW7iW

23:first_value 截取当前分组内第一个值，配合over()开窗函数一起使用

24:移动窗口函数

rows between 2 preceding and current row  # 取当前行和前面两行

rows between unbounded preceding and current row   # 包括本行和之前所有的行

rows between current row and unbounded following  # 包括本行和之后所有的行

rows between 3 preceding and current row   # 包括本行和前面三行

rows between 3 preceding and 1 following   # 从前面三行和下面一行，总共五行

当order by后面缺少窗口从句条件，窗口规范默认是rows between unbounded preceding and current row.

当order by和窗口从句都缺失, 窗口规范默认是 rows between unbounded preceding and unbounded following

Hdfs回收站处理命令：

查看回收站文件：

hdfs dfs -ls /user/hive/.Trash/220506080000/warehouse/tablespace/managed/hive/yhsgj.db

查看具体回收站中文件：

hdfs dfs -ls /user/hive/.Trash/Current/warehouse/tablespace/managed/hive/yhsgj.db/ods_yh_zjj_201_qcpdk

清空回收站文件

hdfs dfs -rm -r -f  /user/hive/.Trash/Current/warehouse/tablespace/managed/hive/yhsgj.db/*

Vim快捷命令

行首 :%s/^/your_word/

行尾 :%s/$/your_word/

按键操作：
注释：ctrl+v 进入列编辑模式,向下或向上移动光标,把需要注释的行的开头标记起来,然后按大写的I,再插入注释符,比如"#",再按Esc,就会全部注释了。
删除：先按v,进入visual模式,横向选中列的个数(如"#"注释符号,需要选中两列),再按Esc,再按ctrl+v 进入列编辑模式,向下或向上移动光标,选中注释部分,然后按d, 就会删除注释符号（#）。

PS：当然不一定是shell的注释符"#"，也可以是"//"，或者其他任意的字符；vim才不知道什么是注释符呢，都是字符而已。

使用替换命令：
在全部内容的行首添加//号注释
:% s/^/\/\//g
在2~50行首添加//号注释
:2,50 s/^/\/\//g
在2~50行尾删除//号
:2,50 s/$\/\///g