![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive学习笔记
来日可期a
这个作者很懒,什么都没留下…
展开
-
spark sql底层join实现,broadcast hash join,shuffle hash join,sort merge join
broadcast hash join:是将其中一张小表广播分发到另一张大表所在的分区节点上,分别并发地与其上的分区记录进行hash join。broadcast适用于小表很小,可以直接广播的场景。在执行上,主要可以分为以下两步:broadcast阶段:将小表广播分发到大表所在的所有主机。分发方式可以有driver分发,或者采用p2p方式。hash join阶段:在每个executo...原创 2020-02-24 11:24:09 · 1280 阅读 · 0 评论 -
执行shell脚本的四种方法
执行shell脚本的四种方法分析使用sh来执行shell脚本在shell文件所在目录执行 sh test.sh相对路径下执行shell脚本./ test.sh绝对路径下执行shell脚本,从根目录开始到shell脚本文件所在目录地址/home/test/test.shsource 命令执行shell脚本source test.sh 或是 . test.sh都...原创 2019-08-02 20:25:11 · 823 阅读 · 0 评论 -
shell $0,$1,$2,$*,$?剖析
$0 :脚本文件本身的名称$1:执行脚本传的第一个参数,$2第二个参数…$*:所有参数列表$?:始终代表当前会话当中的上一句代码的执行状态$?为0时,代表正常,非0时均不正常0:正常1:file not found126:permission found127:command not found...原创 2019-08-17 19:28:53 · 363 阅读 · 0 评论 -
shell 取出当前目录下的最大、最小文件
查看整个文件的大小: du -sh 返回值带有单位 du -s 返回值为字节数 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190817193819976.png)将整个目录下所有文件显示出来du -sh *-给文件排序du -sh * |sort -nsort -n 根据文件大小排序-n, --numeric-sort ...原创 2019-08-17 19:56:24 · 1903 阅读 · 0 评论 -
shell for循环
1、字符串for循环#! /bin/bashfor i in name phone address;do echo word is :$i;donedo 和 done 之间的是循环体2、路径查找for循环#! /bin/bashfor file in $(ls);do echo "file: $file";done...原创 2019-08-17 20:17:49 · 66 阅读 · 0 评论 -
shell xargs用法解析
使用xargs命令可以在使用管道符时传递参数简介xargs 可以读入 stdin 的资料,并且以空白字元或断行字元作为分辨,将 stdin 的资料分隔成为 arguments 。 因为是以空白字元作为分隔,所以,如果有一些档名或者是其他意义的名词内含有空白字元的时候, xargs 可能就会误判了,如果需要处理特殊字符,需要使用-0参数进行处理。0 :当sdtin含有特殊字元时候,将其当成一...原创 2019-08-17 20:40:06 · 158 阅读 · 0 评论 -
Hive内表和外表的区别
有external修饰的是外表,没有external修饰的是内表内表数据由Hive自身管理,外表数据由HDFS管理删除内表时会直接删除元数据和存储数据,删除外表时只删除元数据,HDFS上的文件不会删除。...原创 2019-09-17 20:49:44 · 1010 阅读 · 0 评论