- 博客(4)
- 收藏
- 关注
RSS订阅原创 大数据常用端口
7077 ： spark 的master与worker进行通讯的端口 standalone集群提交Application的端口。任务调度 18080 : Spark History Server的WEB UI 端口。60030 : CDH的regionServer的WEB UI 管理端口。16010 : Apache的master的WEB UI端口。资源调度 4040 : Driver的WEB UI 端口。60010 : CDH的master的WEB UI端口。
2023-09-10 11:50:26
690
1
原创 hive 常用函数总结
last_value(col,true/false) over (partition by col order by col),查询当前窗口最后一条数据，第二个参数为true，跳过空值。
2023-09-09 21:59:52
237
原创 hadoop
Hadoop是一个开源的分布式管理计算系统，旨在处理大规模数据集的存储和处理问题。它由Apache软件基金会维护和开发，是基于Google的MapReduce和Google文件系统（GFS）论文的思想而构建的。HDFS是一个分布式文件存储系统，用于在大型集群上存储数据。它将数据分成块并在集群中的多个节点上分布存储，以实现高可用性和容错性。HDFS的设计适用于存储大文件，通常用于批量处理任务。MapReduce是Hadoop的计算模型，用于并行处理和分析大规模数据。
2023-08-26 22:08:54
295
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人