- 博客(7)
- 收藏
- 关注
RSS订阅原创 Day04-Hive——数据库基础操作
1、数据管理内部表：由Hive全权管理，删除时会删除数据。外部表：Hive仅管理元数据，删除时不删除数据。2、存储位置内部表：数据存储在Hive默认仓库目录。外部表：数据存储在指定的HDFS路径或其它存储系统。3、应用场景内部表：适合临时数据处理和统计分析。外部表：适合长期存储和多工具共享数据。4、创建方式：内部表：创建时默认为内部表外部表：创建时需要使用 EXTERNAL 关键字。
2024-09-02 19:41:24
983
原创 Day05-Hive常用函数
目前hive三大标准UDF:（User-Defined-Function）普通函数: 特点是一进一出(输入一行数据输出一行数据) 如: splitUDAF:（User-Defined Aggregation Function）聚合函数: 特点是多进一出(输入多行输出一行) 如: count sum max min avg。
2024-08-12 17:13:35
1080
原创 一篇文章概括SQL查询
SQL的两个顺序书写顺序：select [distinct] 字段名 [as 别名] [分组聚合操作] -> from -> where -> group by -> having -> order by ->limit执行顺序：from -> where -> group by [as 别名] [分组聚合操作] （不分先后）-> having -> select [distinct] -> order by ->limit[distinct]、聚合操作、别名是跟着select一起的。
2024-08-12 10:34:21
896
原创 Day03-Hadoop概述-浅浅入门一下
处理完毕后，各个部分的结果会被汇总（Shuffle阶段），最后再进行整合（Reduce阶段），形成最终的产品（分析结果），这个过程非常适合处理大规模数据，因为它可以显著提高效率，减少浪费。每个工人将数据转换为一系列中间键值对，这些键值对应着数据的特征及其关联信息。YARN就像是一个大型的数据工厂的主管，负责分配和管理工厂里的所有资源（比如机器、工具和工人等），以确保工厂能够高效、有序地运行。无论是处理大量的订单，还是管理复杂的生产线，YARN都能够游刃有余，确保每个任务都能得到合适的资源，并且按时完成。
2024-08-04 17:24:24
1181
原创 Day02-linux拓展
0为---（啥都无权限），1为--x，2为-w-，3为-wx，4为r--，5为r-x，6为rw-，7为rwx（最高权限）命令模式转为底线命令模式：输入： （冒号） 底线命令模式转为命令模式：命令以回车结束运行。退出vi/vim编辑器：w是保存、q是退出、wq是保存并退出、q！格式化显示系统时间: date [-d "+1 day"] "+%Y/%m/%d %H:%M:%S"7、其他（主机名、关闭防火墙、软件安装、个人常用快捷键、上传和下载文件、进程和资源）
2024-08-03 22:02:02
268
原创 Day01-Linux基本操作
mv 文件名 目标位置（和复制差不多，如果当前路径下没有改目标位置，会把这个文件名重命名成一个文件名为目标位置的文件，比如：mv 菜.txt duolian 如果当前目录没有duolian这个路径就会吧菜.txt重命名为一个没有后缀的duolian文件）cp 文件名 目标位置（如果当前路径下没有这个目标位置，会把这个文件名复制成一个文件名为目标位置的文件，比如：cp 菜.txt duolian 如果当前目录没有duolian这个路径就会添加一个没有后缀的duolian文件）
2024-07-31 21:59:44
627
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人