Linux
文章平均质量分 93
Linux基础知识,shell脚本,Hadoop大数据平台,hive数仓
种一棵树001
这个作者很懒,什么都没留下…
展开
-
Linux:shell脚本笔记
1.shell脚本默认所有变量都是字符串,定义方法同python,变量值里有空格必须加引号,否则不用加2.在定义变量的时候,不能随便添加空格,整个shell脚本对于空格的使用都是非常严格的3.在读取变量的时候,要使用${变量名} 或者$变量名 来对变量进行读取和引用。语法function 函数名(){代码块return 返回值不写参数,小括号是为了与其他语言匹配。原创 2024-09-20 20:37:45 · 876 阅读 · 0 评论 -
hadoop大数据平台操作笔记(下)
自定义函数分为UDF、UDAF、UDTF三个部分:UDF输入一行数据,输出一行数据;UDAF输入多行数据,返回一行或者多行;UDTF输入一行数据,输出多行数据。在Hive的统计过程中,经常会遇到数据量很大的表格,使用group by之类的统计语句运行的时间很长或者造成性能问题之类的,或者数据本身很复杂的,例如嵌套层次很多的json之类的,我们就会使用自定义函数来辅助进行数据的统计和计算。hive可以结合python或者java进行自定义函数的编写。2,85734837。原创 2024-09-26 15:01:36 · 840 阅读 · 0 评论 -
Linux笔记
Linux被称为虚拟文件操作系统,与Windows系统不同,所有的东西在Linux系统里都以文件的形式存在的,Linux没有后缀名的概念的。Windows系统是设备管理器系统,所有的东西根据后缀名来区分与运行的。原创 2024-09-18 19:28:02 · 1133 阅读 · 0 评论 -
hadoop大数据平台操作笔记(上)
对于数据内容的解释以及结构的定义。如果数据是一个表格,那么元数据就是表格的名字、位置、字段名、字段的数据类型等信息。原创 2024-09-21 18:31:49 · 1307 阅读 · 0 评论